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“本 书 为 初出 茅 庐 的 测试 新 手提 供 了 便利 。 检 查 单 的 应 用 以 及 每 章 未 尾 配 有 的 测验 ， 会 让 读者 
加 深 对 所 学 知识 的 理解 和 掌握 ， 其 价值 是 无 法 衡量 的 。Patton 侃 倪 而 谈 的 写作 风格 ， 自 我 发 展 的 组 
织 方式 ， 也 会 使 有 经 验 的 专业 测试 人 员 获 益 匪 浅 。” A 


软件 测试 学 院 主任 ， 有 超过 14 年 的 专业 软件 测试 经 验 


“Patton 的 软件 测试 是 进入 软件 测试 专业 领域 的 理想 入 门 指导 。 一 个 测试 新 手 可 以 从 中 学 到 重 
要 的 基础 知识 ， 以 及 进一步 提高 所 需要 的 一 些 高 级 提示 。 该 书 编排 清晰 合理 ， 内 容 浅显 易 读 。” 
Danny R. Faught 
Cigital 公 司 软 件 分 析 员 ，comp.software.testing FAQ 网 站 的 创建 者 
以 及 软件 测试 讨论 (swtest-discuss) 邮件 组 的 共同 创办 者 


一 
本 书 全 面 系统 地 介绍 了 软件 测试 理论 及 应 用 技术 ， 不 仅 讲述 基本 的 测试 技能 ， 也 讲述 成 为 一 个 
成 功 的 软件 测试 员 所 必须 掌握 的 高 级 技能 。 其 目的 在 于 引导 读者 通过 基础 知识 和 必要 技能 的 学 习 而 
成 为 一 个 优秀 的 软件 测试 员 ， 知 道 如 何 迅 速 在 任 一 计算 机 程序 中 发 现 问题 ， 如 何 计 划一 个 有 效 的 测 
试 步骤 ， 如 何 清 楚 地 报告 发 现 的 问题 ， 以 及 如 何 告知 软件 在 何 时 发 布 。 
本 书 是 一 本 软件 测试 的 入 门 书 ， 内 容 全 面 实 用 ， 讲 述 浅显 易 懂 ， 既 可 作为 高 等 院 校 软件 测试 课 
程 的 教材 ， 也 可 作为 软件 测试 爱好 者 的 自学 用 书 。 对 于 那些 希望 增强 软件 测试 方面 知识 的 程序 员 、 
软件 项 目 经 理 和 软件 开发 团队 的 其 他 人 员 ， 本 书 也 具有 很 好 的 参考 价值 。 








作 | Ron Patton 具有 近 20 年 软件 测试 和 软件 质量 保证 的 工作 经 验 ， 从 事 过 各 种 产品 的 软件 

| 测试 ， 从 关键 任务 到 儿童 绘图 程序 。 曾 先后 就 职 于 德州 仪器 公司 、 西 门 子 
者 公司 和 微软 公司 ， 担 任 过 质量 保证 工程 师 、 软 件 测试 经 理 等 职务 。 他 现在 是 一 个 独立 的 软件 项 目 管理 和 软 
可 | 件 质 量 保证 咨询 师 。 邮 件 地 址 是 : test@valart.com。 
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本 书 涵 盖 了 软件 测试 的 方方面面 : 软件 测试 如 何 适 应 软件 开发 过 程 ， 基 本 的 和 高 级 
的 软件 测试 技术 ， 在 常见 的 测试 任务 中 运用 测试 技能 ， 使 用 自动 化 提高 测试 的 效率 ， 测 
试 工作 的 计划 和 文档 化 ， 有 效 地 报告 发 现 的 问题 ， 衡 量 测试 工作 的 成 效 和 产品 的 改进 ， 
测试 和 质量 保证 的 区 别 ， 寻 求 软件 测试 员 的 工作 。 

本 书 适合 软件 测试 人 员 及 希望 未 来 从 事 软件 测试 的 其 他 专业 人 员 阅 读 ， 也 适合 高 等 
院 校 相关 专业 的 学 生 及 教师 参考 。 


Authorized translation from the English language edition entitled Software Testing, 
Second Edition (ISBN:0-672-32798-8) by Ron Patton, published by Pearson Education, 
Inc.,publishing as Sams, Copyright © 2006 by Ron Patton . 

All rights reserved. No part of this book may be reproduced or transmitted in any form 
or by any means, electronic or mechanic, including photocopying, recording, or by any 
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Copyright © 2006 by China Machine Press. 
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出 版 者 的 话 


文艺 复兴 以 降 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规 范 ， 使 西方 国家 在 自然 科学 的 
各 个 领域 取得 了 芍 断 性 的 优势 也 正 是 这 样 的 传统 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 间 名 
家 区 出 、 独 领 风 骚 。 在 商业 化 的 进程 中 ， 美 国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 计 算 机 
学 科 中 的 许多 泰山 北斗 同时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科学 著作 ， 不 仅 壁 
划 了 研究 的 范畴 ， 还 揭 梨 了 学 术 的 源 变 ， 既 遵循 学 术 规 范 ， 又 自 有 学 者 个 性 ， 其 价值 并 不 会 
因 年 月 的 流逝 而 减退 。 . 

近年 ， 在 全 球 信息 化 大 潮 的 推动 下 ,我 国 的 计算 机 产业 发 展 迅猛 ， 对 专业 人 才 的 需求 日 
益 迫 切 。 这 对 计算 机 教育 界 和 出 版 界 都 既是 机 遇 ， 也 是 挑战 ; 而 专业 教材 的 建设 在 教育 战略 
上 显得 举足轻重 。 在 我 国信 息 技 术 发 展 时 间 较 短 、 从 业 人 员 较 少 的 现状 下 ， 美 国 等 发 达 国家 
在 其 计算 机 科学 发 展 的 几 十 年 间 积 淀 的 经 典 教材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国 
外 优秀 计算 机 教材 将 对 我 国 计 算 机 教育 事业 的 发 展 起 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 
设 真正 的 世界 一 流 大 学 的 必由之路 。 

机 械 工 业 出 版 社 华章 图 文 信息 有 限 公司 较 早 意识 到 “出 版 要 为 教育 服务 ”。 自 1998 年 开始 ， 
华章 公司 就 将 工作 重点 放 在 了 六 选 、 移 译 国 外 优秀 教材 上 。 经 过 几 年 的 不 懈 努 力 ， 我 们 与 
Prentice Hall，Addison-Wesley，McGraw-Hill，Morgan Kaufmann 等 世界 著名 出 版 公司 建立 了 
良好 的 合作 关系 ， 从 它们 现 有 的 数 百 种 教材 中 甄选 出 Tanenbaum ，Stroustrup ，Kernighan， 
Jim Gray 等 大 师 名 家 的 一 批 经 典 作品 ， 以 “计算 机 科学 丛书 ”为 总 称 出 版 ， 供 读者 学 习 、 研 
究 及 庚 藏 。 大 理 石 纹理 的 封面 ， 也 正体 现 了 这 套 丛书 的 品位 和 格调 。 

“计算 机 科学 丛书 ”的 出 版 工作 得 到 了 国内 外 学 者 的 风力 衷 助 ， 国 内 的 专家 不 仅 提供 了 中 
肯 的 选 题 指 导 ， 还 不 辞 劳苦 地 担任 了 翻译 和 审 校 的 工作 ; 而 原 书 的 作者 也 相当 关注 其 作品 在 
中 国 的 传播 ， 有 的 还 专程 为 其 书 的 中 译本 作 序 。 迄 今 ,“ 计 算 机 科学 丛书 ”已 经 出 版 了 近 百 个 
品种 ， 这 些 书 籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采 用 为 正式 教材 和 参考 书籍 ， 为 
进一步 推广 与 发 展 打下 了 坚实 的 基础 。 

随 着 学 科 建 设 的 初步 完善 和 教材 改革 的 逐渐 深化 ， 教 育 界 对 国外 计算 机 教材 的 需求 和 应 
用 都 步 和 人 一 个 新 的 阶段 。 为 此 ， 华 章 公司 将 加 大 引进 教材 的 力度 ， 在 “华章 教育 ”的 总 规划 
之 下 出 版 三 个 系列 的 计算 机 教材 : 除 “ 计 算 机 科学 丛书 ”之 外 ， 对 影印 版 的 教材 ， 则 单独 开 
辟 出 “经 典 原版 书库 ”; 同时 ， 引 进 全 美 通 行 的 教学 辅导 书 “Schaum's Outlines” 系 列 组 成 
“全 美 经 典 学 习 指导 系列 *”。 为 了 保证 这 三 套 丛 书 的 权威 性 ， 同 时 也 为 了 更 好 地 为 学 校 和 老师 
们 服务 ， 华 章 公 司 聘请 了 中 国 科学 院 、 北 京 大 学 、 清 华 大 学 、 国 防 科技 大 学 、 复 旦 大 学 、 上 
海 交通 大 学 、 南 京 大 学 、 浙 江 大 学 、 中 国 科技 大 学 、 哈 尔 滨 工业 大 学 、 西 安 交通 大 学 、 中 国 
人 民 大 学 、 北 京 航空 航天 大 学 、 北 京 邮 电大 学 、 中 山大 学 、 解 放 军 理工 大 学 、 郑 州 大 学 、 湖 
北 工学 院 、 中 国 国家 信息 安全 测评 认证 中 心 等 国内 重点 大 学 和 科研 机 构 在 计算 机 的 各 个 领域 
的 著名 学 者 组 成 “专家 指导 委员 会 "， 为 我 们 提供 选 题 意 见 和 出 版 监督 。- 

这 三 套 从 书 是 响应 教育 部 提出 的 使 用 外 版 教材 的 号 召 ， 为 国内 高 校 的 计算 机 及 相关 专业 








IV 


的 教学 度 身 订 造 的 。 其 中 许多 教材 均 已 为 M. I. T.，Stanford，U.C. Berkeley，C. M. U. 等 世界 
名 牌 大 学 所 采用 。 不 仅 涵 盖 了 程序 设计 、 数 据 结构 、 操 作 系 统 、 计 算 机 体系 结构 、 数 据 库 、 
编译 原理 、 软 件 工 程 、 图 形 学 . 通信 与 网 络 、 离 散 数学 等 国内 大 学 计算 机 专业 普遍 开设 的 核 
心 课 程 ， 而 且 各 具 特 色 一 一 有 的 出 自 语言 设计 者 之 手 、 有 的 历经 三 十 年 而 不 误 、 有 的 已 被 全 
世界 的 几 百 所 高 校 采用 。 在 这 些 圆 熟 通 博 的 名 师 大 作 的 指引 之 下 ， 读 者 必 将 在 计算 机 科学 的 
宫 大 中 由 登 党 而 人 室 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因素 使 我 们 的 
图 书 有 了 质量 的 保证 ， 但 我 们 的 目标 是 尽善尽美 ， 而 反馈 的 意见 正 是 我 们 达到 这 一 终极 目标 
的 重要 帮助 。 教 材 的 出 版 只 是 我 们 的 后 续 服务 的 起 点 。 华 章 公 司 欢迎 老师 和 读者 对 我 们 的 工 
作 提 出 建议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 


电子 邮件 : hzjsj@hzbook.com 

联系 电话 : (010) 68995264 

联系 地 址 : 北京 市 西城 区 百 万 庄 南 街 1 号 
邮政 编码 : 100037 
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以 下 是 一 些 专家 对 本 书 的 评价 : 


“本 书 为 初出 茅 庐 的 测试 新 手提 供 了 便利 。 检 查 单 的 应 用 以 及 每 一 章 末 尾 设 有 的 测验 ， 对 
于 加 深 记 学 内 容 的 印象 ， 其 价值 是 无 法 衡量 的 。Patton 侃 侃 而 谈 的 写作 风格 、 自 我 发 展 的 组 织 
方式 ， 也 会 使 有 经 验 的 专业 测试 人 员 获 益 匪 浅 。” 

一 一 Suan Archer， 软 件 测试 学 院 主 任 ， 有 超过 14 年 的 专职 软件 测试 经 验 ， 参 与 各 种 软件 
测试 和 自动 化 测试 项 目 ， 这 些 项 目的 公司 涉及 通信 、 银 行 、 保 险 、 互 联网 和 咨询 。Archer 也 , 
在 软件 测试 行业 会 议 上 发 表演 讲 ， 并 发 表 软 件 测试 方面 的 论文 。 


“我 喜欢 描述 各 种 测试 类 型 细节 的 章节 ， 比 如 Web 应 用 测试 、 本 地 化 测试 等 。 通 过 阅读 许 
多 章节 ， 我 个 人 认为 我 学 到 了 一 些 “ 诀 窍 ”。 这 些 细节 也 有 利于 将 此 书 作 为 参考 教材 使 用 。” 

一 一 Rick Craig 经 常 在 软件 测试 会 议 上 发 表演 讲 ， 而 且 是 一 个 受 欢 迎 的 测试 和 评估 讲师 。 
县 有 执行 和 管理 大 规模 的 、 传 统 的 、 谋 入 式 系统 的 测试 经 历 ， 并 合 著 一 本 关于 产业 实施 基准 
的 研究 ， 是 前 软件 质量 管理 (Software Quality Management) 杂志 的 编辑 。 


“Patton 的 软件 测试 是 进入 软件 测试 专业 领域 的 理想 入 门 指导 。 一 个 测试 新 手 从 中 可 以 学 
到 重要 的 基础 知识 ， 以 及 进一步 提高 所 需要 的 一 些 高 级 提示 。 该 书 组 织 编排 合理 ， 内 容 浅 显 
易 读 。 ” | . 

一 一 Danny R.Faught, Cigital 公 司 软 件 分 析 员 。 他 是 comp.software.testing FAQ 网 站 的 创建 
者 以 及 软件 测试 讨论 (swtest-discuss ) 邮件 组 的 共同 创办 者 。 在 Software Testing && Quality 
Engineering 杂 志 以 及 一 些 会 议 ( 如 Qulity Week 和 STAR) 上 发 表 过 文章 。 





译 者 序 


20 世 纪 40 年 代 ， 当 Grace Hopper 中 尉 第 一 次 在 “事件 记录 本 ”中 把 引起 “MARK II” 计 
算 机 死机 的 飞 蛾 注 明 为 “第 一 个 发 现 虫 子 的 实例 ”后 ， 人 们 便 将 计算 机 和 软件 的 错误 戏称 为 
虫子 (Bug) 或 臭虫 ， 用 此 描述 再 恰当 不 过 。 对 于 软件 开发 人 员 和 使 用 者 来 说 ， 软件 的 缺陷 就 
像 自然 界 中 人 类 的 天 敌 臭 虫 一 样 ， 是 一 场 恶 梦 ， 轻 则 给 用 户 带 来 不 便 ， 如 软件 界面 的 不 一 
致 ， 重 则 造成 重大 生命 财产 的 损失 ， 如 1996 年 阿坝 亚 娜 5 型 火箭 第 一 次 鉴定 发 射 的 失败 以 及 第 
一 次 海湾 战争 中 爱国 者 导弹 在 沙特 阿拉 伯 的 多 哈 误 炸 28 名 美国 士兵 的 事件 。 要 找 出 软件 中 的 
问题 ， 软 件 测试 是 唯一 的 手段 。 

1983 年 IEEE 对 软件 测试 进行 了 准确 的 定义 : 软件 测试 是 使 用 人 工 或 自动 手段 来 运行 或 测 

定 某 个 系统 的 过 程 ， 检 验 它 是 否 满足 规定 的 需求 或 是 弄 清 预期 结果 与 实际 结果 之 间 的 差别 。 

软件 测试 是 软件 开发 中 不 可 或 缺 的 环节 ， 也 是 软件 工程 的 重要 组 成 部 分 ， 软 件 测 试 的 效 
果 直 接 关系 到 软件 产品 的 质量 。 在 国外 一 些 成 熟 和 大 型 的 软件 企业 ， 软 件 测试 人 员 和 开发 人 
员 的 比例 已 到 达 了 3 : 5 的 程度 。 近 年 来 ， 我 国 的 软件 企业 已 越 来 越 意识 到 软件 测试 的 重要 性 ， 
逐渐 加 大 软件 测试 在 整个 软件 开发 的 系统 工程 中 的 比重 。 根 据 调查 显示 ， 软 件 产品 在 成 本 上 
的 分 配 比例 一 般 来 说 是 : “需求 分 析 ” 占 6%， “设计” 占 5%, “编程” 占 7%, “测试 ” 占 15%， 
“ 云 行 维护 ” 占 67%。 而 测试 成 本 所 占 的 比例 还 在 逐渐 上 升 。 因 此 ， 如 何 提高 我 国 软件 行业 的 
测试 水 平 ， 是 摆 在 我 国 广大 软件 行业 管理 人 员 和 从 业 人 员 面 前 的 一 个 紧迫 任务 。 

本 书 是 《软件 测试 》 的 第 2 版 ， 作 者 根据 自己 在 软件 行业 丰富 的 经 历 和 测试 经 验 ， 对 软件 
测试 知识 体系 结构 中 的 测试 基本 原理 和 技术 、 测 试 的 环境 和 工具 、 测 试管 理 进行 了 全 面 、 生 
动 的 描述 ， 书 中 列举 了 许多 例子 ， 特 别 适合 初次 接触 ， 而 又 对 测试 具有 浓厚 兴趣 的 读者 参考 。 
本 书 作者 还 在 第 1 版 的 基础 上 ， 根 据 软件 测试 技术 的 发 展 ， 新 增加 了 软件 安全 性 测试 这 个 新 兴 
的 话题 。 本 书 可 作为 高 等 院 校 软件 工程 专业 的 本 科 或 工程 硕士 的 参考 教材 ， 也 可 供 有 志 于 将 
软件 测试 作为 职业 的 人 员 全 面 学 习 软 件 测试 技术 。 

本 书 的 翻译 力求 忠实 于 原文 ， 但 由 于 译 者 的 知识 水 平 有 限 ， 不 当 之 处 在 所 难免 ， 妃 请 广 
大 读者 批评 指正 。 参 加 本 书 翻译 、 审 校 和 其 他 辅助 工作 的 还 有 : 任 云 涛 、 王 勋 、 刘 洋 、 唐 妍 、 
许 黎 、 钟 永 松 ， 在 此 一 并 表示 感谢 。 


译 者 
2006 年 元 月 


叫 


前 


当今 社会 似乎 每 天 都 有 关于 计算 机 软件 问题 或 安全 缺陷 暴露 的 新 闻 报 道 : 银行 给 出 不 正 
确 的 账目 收 支 报表 、 火 星 探 测 器 在 太空 失踪 、 食 品 店 收银 机 扫描 器 多 算 了 香 藻 的 钱 ， 或 者 某 
位 黑客 获得 了 数 百 万 张 信 用 卡号 的 访问 权 。 

为 什么 会 出 现 这 些 问题 呢 ? 难道 程序 员 不 能 想 出 办 法 让 软件 仅仅 做 简单 的 工作 吗 ? 答案 
是 否定 的 。 随 着 软件 变 得 越 来 越 复杂 ， 软 件 的 功能 越 来 越 多 ， 软 件 的 互联 性 越 来 越 强 ， 使 编 
写 一 个 无 故障 的 程序 越 来 越 难 ， 事 实 上 已 经 不 可 能 。 不 论 程序 员 多 有 能 力 ， 也 不 论 他 有 多 细 


” 心 ， 他 的 程序 中 都 难免 会 出 现 问 题 。 





这 就 是 引入 软件 测试 的 原因 。 我 们 都 看 到 在 新 衣服 的 口袋 里 有 “检验 员 12 号 ”的 小 标记 ， 
软件 一 样 也 有 检验 标记 。 许 多 大 的 软件 公司 里 一 个 程序 员 配 一 个 或 多 个 测试 员 ， 以 保证 软件 
质量 。 从 游戏 软件 ， 到 工厂 自动 化 生产 软件 ， 再 到 商业 应 用 软件 ， 都 是 如 此 。 

本 书 将 向 你 介绍 软件 测试 的 基础 知识 ， 不 仅 讲述 基本 的 技能 ， 还 讲述 成 为 一 个 成 功 的 软 
件 测试 员 必 需 的 技能 。 你 将 会 学 到 ， 如 何 迅速 在 任 一 计算 机 程序 中 发 现 问题 ， 如 何 计划 一 个 
有 效 的 测试 步骤 ， 如 何 清楚 地 报告 发 现 的 问题 ， 以 及 如 何 告知 软件 在 何 时 发 布 。 


关于 本 书 第 2 版 


在 我 写 《 软 件 测 试 》 第 1 版 的 时 候 ， 软 件 安全 性 问题 还 只 是 刚 开始 在 新 闻 标 题 中 出 现 。 虽 
然 黑 客 和 安全 问题 一 直 都 是 一 个 难题 ， 但 是 随 着 互联 网 的 爆炸 性 发 展 ， 业 界 儿 乎 无 人 能 预计 
安全 漏洞 对 软件 开发 者 和 使 用 者 的 影响 有 多 大 。 

在 第 2 版 中 ， 我 又 重新 审阅 了 各 章 ， 着 重 强调 了 软件 安全 问题 ， 并 指出 了 如 何 使 用 贯穿 全 
书 的 基本 测试 技术 来 预防 、 查 找 、 修 正安 全 问题 。 我 还 增加 了 一 章 ， 专 门 讲述 如 何 测试 软件 
安全 漏洞 。 

如 果 你 是 第 1 版 的 读者 ， 你 会 知道 一 个 道理 : 不 管 你 做 多 大 的 努力 ， 你 的 软件 都 会 带 着 缺 
陷 发 布 。 在 第 2 版 中 ， 这 也 是 一 个 真理 一 一 甚至 带 着 安全 问题 发 布 。 然 而 ， 通 过 对 本 书 所 讲述 
内 容 的 长 期 应 用 ， 能 达到 确保 测试 中 绝 大 多 数 重 要 的 缺陷 都 不 会 漏 掉 的 目标 ， 并 且 使 你 的 团 
队 开 发 出 高 质量 、 高 安全 性 的 软件 成 为 可 能 。 


本 书 的 读者 对 象 


本 书 适用 于 三 类 不 同 的 读者 : 

。 有 兴趣 将 软件 测试 作为 全 职工 作 、 实 习 或 合作 工作 的 ， 学 生 或 电脑 爱好 者 。 在 面试 前 或 
第 一 天 工作 前 阅读 这 本 书 以 求 在 新 上 司 眼 里 形成 好 印象 。 

。 改变 职业 ， 和 希望 从 原来 的 专业 领域 转 入 软件 产业 领域 的 人 。 本 书 给 非 软件 专业 的 人 员 很 
多 应 用 其 原 专业 知识 到 软件 测试 中 的 机 会 。 例 如 ， 飞 行 教导 员 可 以 测试 飞行 模拟 游戏 ， 
会 计 可 以 测试 税务 申报 软件 ， 教 师 可 以 测试 新 的 儿童 教育 程序 。 

。 想 对 软件 测试 方面 的 知识 增强 了 解 的 程序 员 、 软 件 项 目 经 理 、 软 件 开发 团队 的 其 他 





人 员 。 
本 书 可 以 为 你 带 来 什么 


从 本 书 中 可 以 学 到 关于 软件 测试 的 几乎 所 有 方面 的 内 容 : 
。 软件 测试 如 何 适应 软件 开发 过 程 

。 基本 的 和 高 级 的 软件 测试 技术 

。 在 常见 的 测试 任务 中 运用 宰 试 技能 

。 引入 自动 化 提高 测试 的 效率 

。 测试 工作 的 计划 和 文档 化 

。 有 效 地 报告 发 现 的 问题 

。 衡量 测试 工作 的 成 效 和 产品 的 改进 

。 测试 和 质量 保证 的 区 别 

。 寻求 软件 测试 员 的 工作 


本 书 必须 用 到 的 软件 


本 书 讲述 的 方法 是 通用 的 ， 可 以 用 于 测试 任何 类 型 的 计算 机 软件 。 但 是 ， 为 了 使 例子 对 
大 多 数 读 者 熟悉 并 可 使 用 ， 这 些 例子 都 是 基于 一 些 简单 的 程序 ， 例 如 Windows XP 和 Windows 
NT/2000 所 带 的 计算 器 、 记 事 本 、 写 字 板 。. 

即使 使 用 的 是 运行 Linux 或 其 他 操作 系统 的 PC 或 Mac 电 脑 ， 也 可 以 轻易 地 在 系统 中 找到 和 
本 书 中 类 似 的 程序 。 发 挥 创 造 力 吧 ! 创造 性 是 优秀 软件 测试 员 具 有 的 一 个 素质 。 | 


注意 本 书 中 针对 不 同 的 应 用 程序 、 软 件 缺 陷 、 软 件 测试 工具 所 举 的 例子 绝 不 是 有 总 
在 对 这 些 软件 进行 肯定 或 否定 ， 这 些 例子 仅仅 是 用 来 演示 软件 测试 的 概念 。 


本 书 的 组 织 方式 


编写 本 书 的 目的 是 引导 读者 通过 基础 知识 和 必要 技能 的 学 习 而 成 为 一 个 优秀 的 软件 测试 
员 。 软 件 测试 并 不 是 不 停 地 襄 击 键盘 ， 希 望 能 最 终 使 计算 机 凯 潢 这 样 一 回 事 ， 在 它 后 面包 含 
了 大 量 的 科学 和 工程 、 规 则 和 计划 ， 也 有 很 多 的 乐趣 一 一 你 很 快 就 会 看 到 。 

第 一 部 分 软件 测试 综述 

第 一 部 分 的 章节 是 本 书 的 基础 、 该 部 分 讲述 了 软件 产品 是 如 何 开发 出 来 的 ， 软 件 测试 如 
何 应 用 到 整个 开发 过 程 中 。 你 将 会 懂得 软件 测试 的 重要 性 ， 并 对 软件 测试 工作 量 的 巨大 产生 
正确 的 认识 。 

。 第 1 章 ,“ 软 件 测 试 的 背景 ”， 帮 助 你 理解 什么 是 软件 缺陷 ， 软 件 缺陷 到 底 有 多 严重 ， 为 

什么 软件 缺陷 会 发 生 。 你 会 了 解 到 作为 一 个 软件 测试 员 最 终 的 目标 是 什么 ， 以 及 成 为 一 

个 优秀 的 软件 测试 员 应 该 具有 哪些 特点 。 | 

。 第 2 章 ,， “软件 开发 的 过 程 ”， 介 绍 团 体 进行 软件 产品 生产 的 总 体 过 程 。 你 会 了 解 到 软 





件 生产 中 有 哪些 典型 的 过 程 ， 哪 些 人 员 对 此 做 出 了 贡献 ， 以 及 可 以 应 用 的 不 同 的 过 程 

模型 。 

。 第 3 章 , “软件 测试 的 实质 *， 对 软件 开发 的 事实 进行 分 析 。 你 会 了 解 到 为 什么 无 论 你 做 

多 大 的 努力 ， 软 件 永远 都 不 会 完美 ， 还 会 了 解 到 本 书 中 用 到 的 一 些 基 本 的 术语 和 概念 。 

第 二 部 分 “测试 基础 

第 二 部 分 的 章节 向 你 讲述 软件 测试 的 基本 方法 ， 软 件 测 试 工作 分 为 四 个 方面 ， 每 个 方面 
的 技术 都 用 一 章 来 描述 。 

。 第 4 章 ,“ 检 查 产品 说 明 书 ”， 讲 述 如 何 通过 详细 检查 软件 文档 来 发 现 缺 陷 。 

。 第 5 章 ,“ 带 上 眼罩 测试 软件 ”"， 讲 述 在 没有 代码 甚至 不 懂得 编程 的 情况 下 的 软件 测试 技 

术 ， 这 是 最 常用 的 测试 类 型 。 

。 第 6 章 , “检查 代码 ”， 讲 述 如 何 通 过 详细 的 程序 代码 分 析 来 发 现 缺陷 。 你 会 了 解 到 不 必 

一 定 是 高 级 程序 员 才 能 运用 此 方法 。 . 

。 第 7 章 ,“ 带 上 X 光 眼镜 测试 软件 ”"”， 讲 述 如 何 通 过 代码 评审 或 观察 动态 运行 测试 获得 的 

信息 来 改进 测试 。 

第 三 部 分 运用 测试 技术 

第 三 部 分 的 章节 把 第 二 部 分 学 到 的 技术 应 用 到 软件 测试 员 今后 会 遇 到 的 实战 环境 中 。 

。 第 8 章 ,“ 配 置 测试 >， 讲述 如 何 针 对 不 同 的 硬件 配置 和 平台 来 组 织 和 执行 软件 测试 。 

。 第 9 章 ， “兼容 性 测试 "， 讲 述 如 何 针对 不 同 的 软件 应 用 程序 和 操作 系统 交互 的 问题 进 生 

测试 。 

。 第 10 疡 ，“ 外 国语 言 测试 ”有 很 多 软件 ， 当 其 被 入 译 成 其 他 语言 时 会 引起 一 些 特殊 问题， 

这 时 测试 显得 很 重要 。 

。 第 11 章 ,“ 易 用 性 测试 "， 讲述 在 检查 软件 程序 的 用 户 界 面 时 ， 如 何 应 用 测试 技术 ， 如 

何 确 保 软 件 对 于 残疾 人 士 也 能 适用 。 

。 第 12 章 ,“ 测 试 文档 *" ， 讲 述 如 何 检查 软件 的 文档 的 缺陷 ， 例 如 帮助 文档 、 用 户 手 册 ， 其 

至 是 市 场 宣传 资料 。 

。 第 13 章 ，“ 软 件 安全 性 测试 "， 针 对 想像 中 是 安全 的 计算 机 系统 和 数据 ， 如 何 发 现 被 黑客 

突破 的 安全 缺陷 。 

。 第 14 章 ,“ 网 站 测试 ， 应 用 目前 学 到 的 所 有 技术 到 实际 测试 中 ， 你 会 发 现 即使 简单 到 一 

个 网 站 的 测试 ， 也 涉及 了 软件 测试 的 各 个 方面 。 

第 四 部 分 软件 测试 的 进一步 深入 

第 四 部 分 的 章节 讲述 如 何 通过 技术 和 人 员 的 合理 调配 ， 提 高 测试 的 覆盖 率 和 深入 程度 ， 
使 测试 更 有 效 。 

。 第 15 章 ,“ 自 动 测试 和 测试 工具 ” ， 讲 述 如 何 使 用 计算 机 软件 来 测试 其 他 软件 。 你 会 了 解 

到 使 用 工具 测试 和 自动 化 测试 的 不 同方 法 ， 还 会 了 解 到 使 用 工具 测试 并 不 十 分 简单 。 

。 第 16 章 , “缺陷 艇 炸 和 beta 测 试 "， 讲 述 如 何 利用 其 他 人 员 从 不 同 角度 使 用 软件 ， 发 现 那 

些 你 完全 忽略 的 缺陷 。 

第 五 部 分 “使 用 测试 文档 

第 五 部 分 的 章节 涉及 如 何 使 软件 测试 文档 化 ， 使 软件 测试 的 计划 、 和 测试 缺 陷 、 测试 结果 
对 项 目 团队 中 每 个 成 员 都 可 见 ， 且 能 理解 。 
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第 17 章 ,“ 计 划 测 试 工作 ”， 讲 述 创 建 项 目测 试 计划 涉及 的 工作 。 作 为 一 个 软件 测试 的 新 
手 ， 你 可 能 不 会 马上 就 能 写 测 试 计划 ， 一 切 都 得 从 零 开 始 ， 但 是 了 解 测 试 计 划 的 内 容 以 
及 写 测 试 计划 的 原因 是 很 重要 的 。 

。 第 18 章 ,“ 编 写 和 跟踪 测试 用 例 ”， 讲 述 如 何 正确 规范 地 编写 测试 案例 ， 使 其 他 测试 员 也 
能 使 用 。 

第 19 章 ,“ 报 告发 现 的 问题 ”， 讲 述 如 何 报告 缺陷 ， 如 何 整 理 出 重 现 缺陷 的 必要 步 又 ， 如 
何 描述 缺陷 使 其 他 人 可 以 理解 并 愿意 修改 。 

。 第 20 章 , “成效 评 价 ”， 描 述 不 同类 型 的 数据 、 图 表 ， 用 来 标记 测试 的 过 程 和 进展 ， 以 及 
达到 软件 发 布 的 步骤 。 

第 六 部 分 软件 测试 的 未 来 

第 六 部 分 的 章节 讲述 软件 测试 的 未 来 以 及 软件 测试 的 职业 

。 第 21 章 , “软件 质量 保证 ”， 讲述 软件 测试 和 软件 质量 保证 之 间 的 巨大 区 别 ， 你 会 了 角 
到 不 同 的 软件 产业 标准 ， 诸 如 ISO 9000 和 软件 能 力 成 熟 度 模型 ， 以 及 达到 这 些 标准 的 
要 求 。 

。 第 22 章 , “软件 测试 员 的 职业 ” ， 讲 述 成 为 软件 测试 员 遇 到 的 障碍 。 从 中 你 可 以 了 解 到 有 
哪些 类 型 的 工作 以 及 到 哪里 去 找 这 些 工作 ， 其 中 还 有 许多 的 提示 和 和 信息。 

附录 

本 书 每 一 章 结尾 都 有 一 个 小 测验 ， 用 于 测试 所 学 到 的 测试 概念 。 附 录 A 给 出 了 答案 。 


本 书 所 采用 的 规范 
注意 注意 是 每 一 章 材 料 的 附属 材料 ， 用 来 洪 清 概念 和 程序 。 
技巧 技巧 提供 常见 问题 的 快捷 路 径 和 解决 方案 。 


提示 。 提示 提 到 在 前 面 章节 讨论 的 内 容 ， 有 助 于 对 已 讲 知 识 的 回忆 以 及 增强 对 重要 概 
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第 一 部 分 


钦 件 测试 综述 


竞争 对 手 的 程序 死 掉 叫 “崩溃 ”， 自 己 的 程序 死 掉 叫 “ 不 良 反 应 ”(idiosyncrasy )。 通 常 ， 
崩溃 之 后 会 显示 “ID 02” 这 样 的 信息 。“ID” 是 idiosyncrasy 的 缩写 ， 后 面 的 数字 表示 产品 曾 
经 应 测试 的 月 份 数 。 
一 一 差 伊 .川崎 (Guy Kawasaki),《 喜 金 塔 风范 》(The Macintosh Way ) 


我 喜欢 最 后 期 限 。 我 特别 喜欢 它们 飞驰 而 过 时 的 呼啸 声 。 


一 一 道格拉斯 .亚当 斯 (Douglas Adams )， 《银河 系 漫 游 指 南 》 
(The Hitch Hiker's Guide to the Galaxy) 作者 


本 部 分 内 容 : 


第 1 章 软件 测试 的 背景 
第 2 章 软件 开发 的 过 程 
第 3 章 软件 测试 的 实质 





第 1 章 


软件 测试 的 背景 


1947 年 ， 计 算 机 还 是 由 机 械 式 继电器 和 真空 管 驱动 的 、 有 房间 那么 大 的 机 器 。 体 现 当时 
技术 水 平 的 Mark I ， 是 由 哈佛 大 学 制造 的 一 个 庞然大物 。 当 技术 人 员 正 在 进行 整 机 运行 时 ， 
它 突然 停 止 了 工作 。 他 们 称 上 去 找 原因 ， 发 现 这 台 巨 大 的 计算 机 内 部 一 组 继电器 的 触 点 之 间 
有 一 只 飞 蛾 ， 这 显然 是 由 于 飞 峨 受 光 和 热 的 吸引 ， 飞 到 了 触 点 上 ， 然 后 被 高 电压 击 死 。。 

计算 机 的 缺陷 发 生 了 。 虽 然 最 后 该 缺陷 被 消除 了 ， 但 我 们 从 些 认识 了 它 。 

欢迎 阅读 软件 测试 的 第 1 章 ， 本 章 讲述 软件 缺陷 和 软件 宰 试 的 历史 。 

本 章 重 点 包括 : 

。 软件 缺陷 如 何 影响 我 们 的 生活 

。 软件 缺陷 是 什么 ， 为 什么 会 出 现 

。 软件 测试 员 是 谁 ， 他 们 在 做 什么 


1.1 奥 名 昭著 的 软件 错误 用 例 研 究 


人 们 常常 不 把 软件 当 回 事 ， 没 有 真正 意识 到 它 已 经 深入 渗透 到 我 们 的 日 常生 活 中 。 回 到 
1947 年 ，Mark I 计算 机 需要 大 批 程 序 员 定 期 维护 ， 普 通 人 谁 会 想到 有 一 天 在 家 里 能 够 拥有 自 
己 的 计算 机 呢 ? 现在 食品 包装 盒 上 都 带 有 免费 赠送 的 软件 光盘 ， 小 孩子 视频 游戏 中 的 软件 比 
太空 船上 的 还 多 。 那 些 以 前 新 奇 的 小 玩意 ， 例 如 寻呼机 和 手机 ， 都 已 经 变 得 平平 常常 了 。 现 
在 许多 人 如 果 一 天 不 上 网 查看 电子 邮件 ， 简 直 就 没 法 过 下 去 。 我 们 已 经 离 不 开 24 小 时 包 囊 投 
递 服 务 、 长 途 电 话 服务 和 最 先进 的 医疗 服务 了 。 

软件 无 处 不 在 。 然 而 ， 软 件 是 人 写 的 一 一 所 以 不 完美 ， 下 面 会 用 实例 来 证 明 。 


1.1.1 迪斯尼 的 狮子 王 ，1994 一 1995 


1994 年 秋天 ， 迪 斯 尼 公 司 发 布 了 第 一 个 面向 儿童 的 多 媒体 光盘 游戏 一 狮子 王 动画 故事 
书 (The Lion King Animated Storybook)。 尽 管 已 经 有 许多 其 他 公司 在 儿童 游戏 市 场 上 运作 多 
年 ， 但 是 这 次 是 迪斯尼 公司 首次 进军 这 个 市 场 ， 所 以 进行 了 大 量 促销 宣传 。 结 果 ， 销 售 额 非 
常 可 观 ， 读 游戏 成 为 孩子 们 那 年 节假日 的 “ 必 买 游戏 ”。 然 而 后 来 却 飞 来 横 祸 。12 月 26 日 ， 圣 
诞 节 的 后 一 天 ， 迪 斯 尼 公 司 的 客户 支持 电话 开始 响 个 不 停 。 很 快 ， 电 话 支 持 技 术 员 们 就 淹没 
在 来 自 于 愤怒 的 家 长 并 伴随 着 玩 不 成 游戏 的 孩子 们 哭 叫 的 电话 之 中 。 报 纸 和 电视 新 闻 进 行 了 
大 量 的 报道 。 
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后 来 证 实 ， 迪 斯 尼 公 司 未 能 对 市 面 上 投入 使 用 的 许多 不 同类 型 的 PC 机 型 进行 广泛 的 测试 。 
软件 在 极 少数 系统 中 工作 正常 一 一 例如 在 迪斯尼 程序 员 用 来 开发 游戏 的 系统 中 一 一 但 在 大 多 数 
公众 使 用 的 系统 中 却 不 能 运行 


1.1.2 英特尔 奔腾 浮 点 除法 缺陷 ，1994 


”在 计算 机 的 “计算 器 ”程序 中 输入 以 下 算式 : 
(4195835/31 45727) x 3145727-4195835 


如 果 答案 是 0， 就 说 明 计 算 机 没 问题 。 如 果 得 出 别 的 结果 ， 就 表示 计算 机 使 用 的 是 带 有 浮 点 除 
法 软件 缺陷 的 老式 英特尔 奔腾 处 理 器 一 这 个 软件 缺陷 被 烧 录 在 一 个 计算 机 芯片 中 ， 并 在 制 
作 过 程 中 反复 生产 。 

1994 年 10 月 30 日 ， 弗 吉利 亚 州 Lynchburg 学 院 的 Thomas R .Nicely 博 士 在 他 的 一 个 实验 中 ， 
用 奔腾 PC 机 解决 一 个 除法 问题 时 ， 记 录 了 一 个 想不到 的 结果 ， 得 出 了 错误 的 结论 。 他 把 发 现 
的 问题 放 到 因特网 上 ， 随 后 引发 了 一 场 风暴 ,成 千 上 万 的 人 发 现 了 同样 的 问题 ， 并 且 发 现在 
另外 一 些 情形 下 也 会 得 出 错误 的 结果 。 万 幸 的 是 ， 这 种 情况 很 少见 ， 仅 仅 在 进行 精度 要 求 很 
高 的 数学 、 科 学 和 工程 计算 中 才 会 导致 错误 。 大 多 数 用 来 进行 税务 处 理 和 商务 应 用 的 用 户 根 
本 不 会 遇 到 此 类 问题 。 

这 件 事 情 引 人 关注 的 并 不 是 这 个 软件 缺陷 ， 而 是 英特尔 公司 解决 问题 的 方式 : 

。 他 们 的 软件 测试 工程 师 在 芯片 发 布 之 前 进行 内 部 测试 时 已 经 发 现 了 这 个 问题 。 英 特 尔 的 

管理 层 认 为 这 没有 严重 到 要 保证 修正 ， 甚 至 公开 的 程度 。 

。 当 软件 缺陷 被 发 现时 ， 英 特 尔 通过 新 闻 发 布 和 公开 声明 试图 弱化 这 个 问题 的 已 知 严重 性 。 

。 受到 压力 时 ， 英 特 尔 承诺 更 换 有 问题 的 芯片 ， 但 要 求 用 户 必 须 证 明 自己 受到 缺陷 的 影响 。 

舆论 大 哗 。 互 联网 新 闻 组 里 充斥 着 愤怒 的 客户 要 求 英特尔 解决 问题 的 呼声 。 新 闻 报 道 把 
英特尔 公司 描绘 成 不 关心 客户 和 缺乏 诚信 者 。 最 后 ， 英 特 尔 为 自己 处 理 软件 缺陷 的 行为 道歉 
并 拿 出 4 亿 多 美元 来 支付 更 换 问 题 芯 片 的 费用 。 现 在 英特尔 在 Web 站 点 上 报告 已 发 现 的 问题 ， 
并 认真 查看 客户 在 互联 网 新 闻 组 里 留 的 反馈 意见 。 


注意 ”2000 年 8 月 28 日 ， 在 本 蔬 第 1 版 出 版 的 前 夕 ， 英 特 尔 针对 已 投产 月 余 ， 并 已 开始 
发 痪 的 所 有 1.13MHz 和 大 腾 II 处 理 器 ， 宣 布 了 一 项 召回 通告 。 因 为 发 现 了 在 执行 某 些 特 
定 指令 时 可 能 导致 运行 程序 被 挂 起 的 问题 。 计 算 机 生产 商 正在 制定 召回 已 经 交付 客户 
使 用 的 PC 机 计划 ， 并 计算 更 换 问 题 芯 片 的 费用 。 | 


1.1.3 美国 航天 局 火星 极地 登陆 者 号 探测 器 ，1999 


1999 年 12 月 3 日 ， 美国 航天 局 的 火星 极地 登陆 者 号 探测 器 试图 在 火星 表面 着 陆 时 失踪 。 一 
个 故障 评估 委员 会 (Failure Review Board，FRB) 调查 了 故障 ， 认 定 出 现 故 障 的 原 因 极 可 能 
是 一 个 数据 位 被 音 外 置 位 。 最 令 人 警醒 的 问题 是 为 什么 没有 在 内 部 测试 时 发 现 呢 。 

从 理论 上 看 ， 着 陆 的 计划 是 这 样 的 : 当 探 斑 器 向 火星 表面 降落 时 ， 它 将 打开 降落 钙 减 组 
探测 器 的 下 降 速 度 。 降 落 伞 打开 儿 秒 钟 后 ， 探 测 器 的 三 条 腿 将 迅速 撑 开 ， 并 锁定 位 置 ， 准备 
着 陆 。 当 探测 器 离 地面 1 800 米 时 ， 它 将 丢弃 降落 伞 ， 点 燃 着 陆 推进 器 ， 缓 缓 地 降落 到 地 面 。 
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美国 航天 局 为 了 省 钱 ， 简 化 了 确定 何 时 关闭 着 陆 推 进 器 的 装置 。 为 了 替代 在 其 他 太空 船 
上 使 用 的 贵重 雷达 ， 他 们 在 探测 器 的 脚 部 装 了 一 个 廉价 的 触 点 开关 ， 在 计算 机 中 设置 一 个 数 
据 位 来 控制 触 点 开关 关闭 燃料 。 很 简单 ， 探 测 器 的 发 动机 需要 一 直 点 火 工作 ， 直 到 脚 “着 地 ” 
为 止 。 

遗憾 的 是 ， 故 障 评估 委员 会 在 测试 中 发 现 ， 许 多 情况 下 ， 当 探测 器 的 脚 迅 速 撑 开 准备 着 
陆 时 ， 机 械 震 动 也 会 触发 着 陆 触 点 开关 ， 设 置 致 命 的 错误 数据 位 。 设 想 探 测 器 开始 着 陆 时 ， 
计算 机 极 有 可 能 关闭 着 陆 推 进 器 ， 这 样 火星 极地 登陆 者 号 探测 器 飞船 下 验 1 800 米 之 后 冲 向 地 
面 ， 撞 成 碎片 。 

结果 是 灾难 性 的 ， 但 背后 的 原因 却 很 简单 。 登 陆 探测 器 经 过 了 多 个 小 组 测试 。 其 中 一 个 
小 组 测试 飞船 的 脚 折 双 过程， 另 一 个 小 组 测试 此 后 的 着 陆 过 程 。 前 一 个 小 组 不 去 注意 着 地 数 
据 位 是 否 置 位 一 一 这 不 是 他 们 负责 的 范围 ; 后 一 个 小 组 总 是 在 开始 测试 之 前 复位 计算 机 、 清 
除数 据 位 。 双 方 独立 工作 都 做 得 很 好 ， 但 合 在 一 起 就 不 是 这 样 了 。 


1.1.4 爱国 者 导弹 防御 系统 ，1991 


美国 爱国 者 导弹 防御 系统 是 里 根 总 统 提 出 的 战略 防御 计划 ( 即 星 球 大 战 计划 ) (Strategic 
Defense Initiative, SDI) 的 缩 略 版 本 ， 它 首次 应 用 在 海湾 战争 中 对 抗 伊拉克 飞毛腿 导弹 的 防御 
战 中 。 尽 管 对 此 系统 赞誉 的 报道 不 绝 于 耳 ， 但 是 它 确 实在 对 抗 几 枚 导弹 中 失利 ， 包 括 一 次 在 
沙特 阿拉 伯 的 多 哈 击 毕 了 28 名 美国 士兵 。 分 析 发 现 症 结 在 于 一 个 软件 缺陷 ， 系 统 时钟 的 一 个 
很 小 的 计时 错误 积累 起 来 到 14 小 时 后 ， 跟 踪 系 统 不 再 准确 。 在 多 哈 的 这 次 袭击 中 ， 系 统 已 经 
运行 了 100 多 个 小 时 。 


1.1.5 于 年 虫 问题 ， 大 约 1974 


20 世 纪 70 年 代 早 期 的 某 个 时 间 ， 某 位 程序 员 (假设 他 叫 Dave) 正在 为 本 公司 设计 开发 工 
资 系统 。 他 使 用 的 计算 机 存储 空间 很 小 ， 迫 使 他 尽量 节省 每 一 个 字 节 。Dave 自 豪 地 将 自己 的 
程序 压缩 得 比 其 他 任何 人 都 紧凑 。 他 使 用 的 其 中 一 个 方法 是 把 4 位 数 年 份 ， 例 如 1973， 缩 减 为 
2 位 数 ，73。 因 为 工资 系统 相当 依赖 于 日 期 的 处 理 ， 所 以 Dave 需 要 节省 大 量 吊 贵 的 存储 空间 。 
他 简单 地 认为 只 有 在 到 达 2000 年 ， 那 时 他 的 程序 开始 计算 00 或 01 这 样 的 年 份 时 问题 才 会 发 生 。 
虽然 他 知道 会 出 这 样 的 问题 ， 但 是 他 认定 在 25 年 之 内 程序 肯定 会 升级 或 替换 ， 而 且 眼 前 的 任 
务 比 现在 计划 遥 不 可 及 的 未 来 更 加 重要 。 然 而 这 一 天 毕 竞 是 要 到 来 的 。1995 年 ，Dave 的 程序 
仍然 在 使 用 ， 而 Dave 退 体 了 ， 谁 也 不 会 想到 如 何 深入 到 程序 中 检查 2000 年 兼容 问题 ， 更 不 用 
说 去 修改 了 。 

估计 全 球 各 地 更 换 或 升级 类 似 的 Dave 程 序 以 解决 潜在 的 2000 年 问题 的 费用 已 经 达 数 千 亿 
美元 。 


1.1.6 危险 的 预见 ，2004 


1994 年 4 月 1 日 ， 在 一 些 互 联网 用 户 组 上 贴 出 了 一 条 消息 ， 是 关于 在 互联 网 上 发 现 了 一 封 
将 病毒 嵌入 在 几 张 JPEG 格 式 图 片 中 的 邮件 的 ， 而 且 很 快 就 传播 开 了 。 消 息 警告 说 只 要 简单 地 
打开 或 查看 受 病毒 感染 的 图 片 ， 病 毒 就 会 感染 你 的 PC 机 ， 甚 至 还 有 警告 说 该 病毒 会 破坏 你 的 
显示 器 ， 其 中 又 数 索 尼 的 Trinitron 显 示 器 最 易 被 破坏 。 
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警告 受到 了 广泛 的 关注 ， 并 且 很 多 人 把 自己 机 器 上 的 JPEG 文 件 都 清除 掉 了 。 有 些 系统 管 
理 员 甚 至 阻止 系统 通过 e-mail 接 收 JPEG 图 片 。 

后 来 人 们 终于 知道 这 个 最 初 的 消息 发 布 在 “恩人 节 ” ， 整 个 事情 就 是 一 个 玩笑 。 专 家 们 这 
时 发 表意 见 说 ， 不 可 能 在 查看 一 幅 JPEG 图 片 时 ， 病 毒 会 感染 你 的 PC 机 。 不 管 怎样 ， 图 片 只 是 
一 些 数据 ， 它 不 是 可 执行 的 程序 代码 。 

10 年 后 ，2004 年 的 秋天 ， 一 个 原形 (proof-of-concept) 病毒 被 制造 出 来 ， 证 明了 JPEG 图 
片 可 以 带 病毒 并 且 在 查看 时 感染 系统 。 软 件 更 新 补丁 也 很 快 发 布 以 防止 病毒 的 扩散 。 不 管 怎 
样 ， 像 这 种 原本 正常 的 图 片 通过 某 种 传播 手段 ， 造 成 互联 网 的 灾难 性 破坏 ， 可 能 只 是 一 个 时 
间 问 题 。 


1.2 软件 缺陷 是 什么 


刚才 我 们 看 到 了 软件 失败 所 发 生 的 事件 的 一 些 实例 。 其 后 果 也 许 是 带 来 不 便 ， 比 如 电脑 
游戏 玩 不 成 了 ， 也 可 能 是 灾难 性 的 ， 会 导致 人 员 的 伤亡 。 改 正 软 件 缺 陷 也 许 花费 很 小 ， 但 解 
决 方案 的 实施 却 可 能 需要 花费 数 百 万 美元 。 在 这 些 事 件 中 ， 显然 软件 未 按 预 期 目标 运行 。 作 
为 软件 测试 员 ， 可 能 会 发 现 大 多 数 缺 陷 不 如 上 面 那些 明显 ， 而 一 些 简单 而 细微 的 错误 ， 以 至 
难以 区 分 哪些 是 真正 的 错误 ， 哪 些 不 是 。 


1.2.1 软件 失败 的 术语 


作为 软件 测试 员 ， 在 不 同 环境 下 要 用 不 同 的 术语 描述 软件 失败 时 的 现象 。 这 里 给 出 一 些 . 
例子 : 


缺点 (defect) 偏 善 (variance) 

故障 (fault) 失败 (failure) 

问题 (problem) 矛盾 (inconsistency) 
错误 (error) 特殊 (feature) . 
事件 (incidenb 缺陷 (bug) 

措 常 (anomaly) 


(还 有 许多 没有 提 到 的 术语 ， 但 上 面 提 到 的 是 程序 员 们 常用 的 术语 。) 

读者 也 许 会 奇怪 ， 描 述 软件 缺陷 的 术语 为 什么 这 么 多 呢 ? 这 完全 是 取决 于 公司 的 文化 和 
. 开发 软件 的 过 程 。 如 果 从 字典 中 查 这 些 词 ， 就 会 发 现 它们 的 含义 几 近 相同 。 在 日 常 的 会 话 中 ， 
它们 还 具 其 他 的 含义 。 . 

例如 ， 玖 障 、 失 败 和 扫 点 都 指 的 是 确实 严重 的 情况 ， 甚 至 是 危险 的 情况 。 图 标的 颜色 设 
置 不 正确 称 为 故障 听 起 来 就 不 对 。 这 些 词 汇 同时 也 意味 着 责备 : “这 是 他 的 过 错 造成 软件 失 
败 的 。” 

异常 、 享 件 和 偏差 不 是 那么 尖锐 ， 主 要 指 未 按 预料 的 运行 ， 而 不 是 说 全 部 失败 。“ 总 统 声 
称 是 软件 异常 导致 导弹 未 按 规定 飞行 。 

问题 、 错 误 和 缺陷 也 许 是 最 常用 的 术语 。 


该 怎么 称呼 就 怎么 称呼 
有 趣 的 是 ， 菜 些 公司 和 产品 开发 小 组 浪费 许多 宝 责 的 开发 时 间 去 争论 用 什么 词汇 
来 描述 软件 问题 。 有 一 个 著名 的 计算 机 公司 花费 数 周 时 间 与 工程 师 讨论 ， 最 终 把 产品 
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异常 报告 (Product Anomaly Reports，PARs) 改 为 产品 事件 报告 (Product Incident 
Reports，PIRs)。 大 量 的 资金 浪费 在 决定 用 哪个 术语 更 好 的 过 程 上 。 决 议 形成 后 ， 所 
有 书面 材料 、 软 件 、 表 格 等 都 要 根据 新 的 术语 调整 。 谁 知道 这 对 程序 员 和 测试 员 的 工 
作成 效 会 有 什么 作用 。 


那么 ， 为 什么 还 要 谈论 这 个 话题 ?因为 对 软件 测试 员 来 说 ， 了 解 与 自己 合作 的 产品 开发 
小 组 的 特点 是 很 重要 的 。 他 们 提 及 软件 问题 的 方式 反映 出 他 们 处 理 整 个 开发 过 程 的 方式 。 他 
们 是 谨慎 、 小 心 、 直 接 ， 还 是 简单 生硬 呢 ? 

虽然 你 所 在 的 开发 小 组 会 选择 不 同 的 名 称 ， 但 在 本 书 中 ， 所 有 软件 问题 都 被 称 为 献 陷 
(bugs )。 并 不 在 乎 缺陷 多 大 多 小 ， 是 有 意 的 还 是 无 意 的 ， 或 者 是 否 让 一 些 人 感到 不 适 。 在 用 
词 上 过 多 地 计较 是 没有 意义 的 。 


1.2.2 软件 缺陷 的 官方 定义 


把 所 有 的 软件 问题 都 称 为 款 陷 听 起 来 也 许 非常 简单 ， 但 是 这 样 做 并 不 能 真正 解决 问题 。 
现在 ， 问 题 (problem) 这 个 词 需 要 加 以 定义 。 为 了 避免 循环 定义 ， 就 需要 给 出 缺陷 的 明确 的 
定义 。 

首先 需要 了 解 一 个 辅助 术语 : 产品 说 明 书 (product specification )。 产 品 说 明 书 有 时 又 简 
称 为 说 明 (spec) 或 产品 说 明 (product spec)， 是 软件 开发 小 组 的 一 个 协定 。 它 对 开发 的 产品 
进行 定义 ， 给 出 产品 的 细节 、 如 何 做 、 做 什么 、 不 能 做 什么 。 这 种 协定 从 简单 的 口头 说 明 到 
正式 的 书面 文档 有 多 种 形式 。 第 2 章 “ 软 件 开发 的 过 程 ”会 讲述 产品 说 明 书 和 开发 过 程 的 更 多 
内 容 ， 但 是 现在 ， 这 样 的 定义 就 足够 了 。 

出 于 本 书 和 软件 行业 的 原因 ， 只 有 至 少 满足 下 列 5 个 规则 之 一 才 称 发 生 了 一 个 软件 缺 陶 
(software bug ): | 

1) 软件 未 实现 产品 说 明 书 要 求 的 功能 。 

2) 软件 出 现 了 产品 说 明 书 指明 不 应 该 出 现 的 错误 。 

3) 软件 实现 了 产品 说 明 书 未 提 到 的 功能 。 

4) 软件 未 实现 产品 说 明 书 虽 未 明确 提 及 但 应 该 实现 的 目标 。 

5) 软件 难以 理解 、 不 易 使 用 、 运 行 猎 慢 或 者 
不 好 。 . 

为 了 更 好 地 理解 每 一 条 规则 ， 下 面 我 们 来 看 看 计算 器 的 例子 。 

计算 器 的 产品 说 明 书 可 能 声称 它 能 够 准确 无 误 地 进行 加 、 减 、 乘 、 除 运算 。 假 如 你 作为 
软件 测试 员 ， 拿 到 计算 器 后 ， 按 下 加 (+) 键 ， 结 果 什么 反应 也 没有 ， 根 据 第 1 条 规则 ， 这 是 
一 个 缺陷 。 假 如 得 到 错误 答案 ， 根 据 第 1 条 规则 ， 这 同样 是 个 缺陷 。 

产品 说 明 书 可 能 声称 计算 器 永远 不 会 崩溃 、 锁 死 或 者 停止 反应 。 假 如 你 狂 斋 键盘 使 计算 
器 停止 接受 输入 ， 根 据 第 2 条 规则 ， 这 是 一 个 缺陷 。 

假如 你 拿 计 算 器 进行 测试 ， 发 现 除了 加 . 减 、 乘 、 除 之 外 它 还 可 以 求 平 方 根 ， 说 明 书 中 
从 没 提 到 这 一 功能 ， 雄 心 勃 勃 的 程序 员 只 因为 觉得 这 是 一 项 了 不 起 的 功能 而 把 它 加 入 。 这 不 
是 功能 ， 根 据 第 3 条 规则 ， 这 是 软件 缺陷 。 软 件 实现 了 产品 说 明 书 未 提 到 的 功能 。 这 些 预料 不 
到 的 操作 ， 虽 然 有 了 更 好 ， 但 会 增加 测试 的 工作 ， 甚 至 可 能 带 来 更 多 的 缺陷 。 

第 4 条 规则 中 的 双重 否定 让 人 感觉 有 些 奇 怪 ， 但 其 目的 是 为 了 捕获 那些 产品 说 明 书 上 的 遗 
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漏 之 处 。 在 测试 计算 器 时 ， 会 发 现 电 池 没 电 会 导致 计算 不 正确 。 没 有 人 会 考虑 到 这 种 情况 下 
计算 器 会 如 何 反应 ， 而 是 想当然 地 假定 电池 一 直 都 是 充足 了 电 的 。 测 试 要 考虑 到 让 计算 器 持 
续 工作 直到 电池 完全 没 电 ,或 者 至 少 用 到 出 现 电力 不 足 的 提醒 。 电 力 不 足 时 无 法 正确 计算 ， 
但 产品 说 明 书 未 指出 这 个 问题 。 根 据 第 4 条 规则 ， 这 是 个 缺陷 。 

第 5 条 规则 是 全 面 的 。 软 件 测试 员 是 第 一 个 真正 使 用 软件 的 人 人， 否则， 客户 就 是 第 一 个 使 
用 软件 产品 的 人 。 如 果 软 件 测试 员 发 现 某 些 地 方 不 对 劲 ， 无 论 什 么 原因 ， 都 要 认定 为 缺陷 。 
在 计算 器 例子 中 ,也许 测 试 员 觉得 按键 太 小 ; 也 许 “=” 键 布置 的 位 置 使 其 极其 不 好 按 ; 也 
许 在 明亮 光 下 显示 屏 难以 看 清 。 根 据 第 5 条 规则 ， 这 些 都 是 缺陷 。 


注意 每 一 个 使 用 过 一 些 软件 的 人 都会 对 软件 的 工作 方式 有 自己 的 意见 和 想法 ， 要 纺 
写 令 所 有 用 户 部 满意 的 软件 是 不 可 能 的 。 作 为 软件 测试 员 ， 在 运用 第 5 条 测试 规则 时 
应 记 住 下 面 这 一 点 : 要 全 面 ， 最 重要 的 是 要 客观 评价 ， 并 非 所 有 测试 发 现 的 缺陷 都 要 
修改 。 这 些 后 面 章节 中 还 会 提 及 。 


这 些 都 是 极 简单 的 例子 ， 所 以 请 考虑 如 何 将 这 些 规则 应 用 到 日 常 使 用 的 软件 中 。 哪 些 功 
能 是 需要 的 ? 哪些 功能 是 不 需要 的 ? 哪些 已 经 说 明 ， 哪 些 被 遗忘 了 ? 还 有 ， 是 什么 原因 造成 
你 不 喜欢 某 个 软件 ? 

虽然 这 个 软件 缺陷 的 定义 涉及 面 甚 广 ， 但 是 使 用 上 面 5 条 规则 有 助 于 在 软件 测试 中 区 分 不 
同类 型 的 问题 。 


1.3 为 什么 会 出 现 软件 缺陷 


现在 我 们 知道 了 软件 缺陷 是 什么 ， 但 它们 为 什么 会 出 现 呢 ? 令 人 感到 惊奇 的 是 我 们 发 现 
大 多 数 软件 缺陷 并 非 源 自 编程 错误 。 对 众多 从 小 到 大 的 项 目 进行 研究 而 得 出 的 结论 往往 是 一 
致 的 ， 导 致 软件 缺陷 最 大 的 原因 是 产品 说 明 书 ( 见 图 1-1)。 





图 1-1 软件 缺陷 产生 的 原因 有 很 多 ,但 就 这 个 例子 项 目的 分 析 看 ， 主 要 的 原因 应 归 答 于 产品 说 明 书 
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产品 说 明 书 成 为 造成 软件 缺陷 的 罪魁 祸首 有 不 少 原因 。 在 许多 情况 下 ， 说 明 书 没有 写 ; 
其 他 原因 可 能 是 说 明 书 不 够 全 面 、 经 常 更 改 ， 或 者 整个 开发 小 组 没有 很 好 地 沟通 。 为 软件 做 
计划 是 极其 重要 的 ， 如 果 没 做 好 ， 软 件 缺 陷 就 会 出 现 。 

软件 缺陷 的 第 二 大 来 源 是 设计 。 这 是 程序 员 规 划 软 件 的 过 程 ， 好 比 是 建筑 师 为 建筑 物 绘 
制 蓝图 。 这 里 产生 软件 缺陷 的 原因 与 产品 说 明 书 是 一 样 的 一 随意、 易 变 、 沟 通 不 足 。 


注意 古人 云 :“ 说 不 出 来 就 做 不 到 。” 此 话 用 在 软件 开发 和 测试 身上 再 合适 不 过 了 。 


程序 员 对 编码 错误 太 熟 悉 了 。 通 常 ， 代 码 错 误 可 以 归咎 于 软件 的 复杂 性 、 文 档 不 足 〈 特 
别 是 升级 或 修 定 过 的 代码 的 文档 )、 进 度 压 力 或 者 普通 的 低级 错误 。 一 定 要 注意 ， 许 多 看 上 去 
是 编程 错误 的 软件 缺陷 实际 上 是 由 产品 说 明 书 和 设计 方案 造成 的 。 经 常 听 到 程序 员 说 : “这 是 
按 要 求 做 的 。 如 果 有 人 早 告诉 我 ， 我 就 不 会 这 样 编写 程序 了 。 

剩 下 的 原因 可 归 为 一 类 。 某 些 缺 陷 产生 的 原因 是 把 误解 〈 即 把 本 来 正确 的 ) 当成 缺陷 。 
还 有 可 能 缺陷 多 处 反复 出 现 ， 实 际 上 是 由 一 个 原因 引起 的 。 一 些 缺 陷 可 以 归咎 于 测试 错误 。 
不 过 说 到 底 ， 此 类 软件 缺陷 只 占 极 小 的 比例 ， 不 必 担 心 。 


1.4 软件 缺陷 的 修复 费用 


看 了 第 2 章 你 就 会 明白 ， 软 件 不 仅仅 是 表面 上 的 那些 东西 一 一 通常 要 靠 有 计划 、 有 条 理 的 
开发 过 程 来 实现 。 从 开始 到 计划 、 编 程 、 测 试 ， 到 公开 使 用 的 过 程 中 ， 都 有 可 能 发 现 软件 缺 
陷 。 图 1-2 显 示 了 修复 软件 缺陷 的 费用 是 如 何 随 着 时 间 推 移 而 增加 的 。 


$1000+ 


修复 缺陷 的 费用 





缺陷 发 现 的 时 间 
图 1-2 随 着 时 间 的 推移 ， 修 复 软件 缺陷 的 费用 惊人 地 增长 


费用 指数 级 地 增长 也 就 是 说 , 随 着 时 间 的 推移 , 费用 呈 十 倍 地 增长 。 在 我 们 的 例子 中 ， 
当 早期 编写 产品 说 明 书 时 发 现 并 修复 缺陷 ， 费 用 只 要 1 美元 甚至 更 少 。 同 样 的 缺陷 如 果 直 到 软 
件 编号 完成 开始 测试 时 才 发 现 ， 费 用 可 能 要 10~100 美 元 。 如 果 是 客户 发 现 的 ， 费 用 可 能 达到 
数 千 甚 至 数 百 万 美元 。 

举 一 个 例子 来 说 明 ， 比 如 前 面 的 迪斯尼 狮子 王 实例 。 问 题 的 根本 原因 是 软件 无 法 在 流行 
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的 PC 平台 上 运行 。 假 如 早 在 编写 产品 说 明 书 时 ， 有 人 已 经 研究 过 什么 PC 机 流行 ， 并且 明确 指 
出 软件 需要 在 该 种 配置 上 设计 和 测试 ， 付 出 的 代价 小 得 几乎 可 以 忽略 不 计 。 如 果 没 有 这 样 做 ， 
还 有 一 个 补救 措施 是 ， 软 件 测试 员 去 搜集 流行 PC 样机 并 在 其 上 验证 。 他 们 可 能 会 发 现 软件 缺 
陷 ， 但 是 修复 费用 要 高 得 多 ， 因 为 软件 必须 调试 、 修 改 、 再 测试 。 开 发 小 组 还 应 把 软件 的 初 
期 版 本 分 发 给 一 小 部 分 客户 进行 试用 ， 这 叫 beta 测 试 。 那 些 被 挑选 出 来 代表 庞大 市 场 的 客户 可 
能 会 发 现 问题 。 然 而 实际 的 情况 是 ， 缺 陷 被 完全 忽视 ， 直 到 成 千 上 万 的 光盘 被 压制 和 销售 出 
去 。 而 迪斯尼 公司 最 终 支 付 了 客户 投诉 电话 费 、 产 品 召 回 、 更 换 光 盘 ， 以 及 又 一 轮 调试 、 修 
改 和 测试 的 费用 。 如 果 严 重 的 软件 缺陷 到 了 客户 那里 ， 就 足以 耗 尽 整个 产品 的 利润 。 


1.5 软件 测试 员 究竟 做 些 什 么 


我 们 已 经 看 到 了 令 人 厌恶 的 软件 缺陷 实例 ， 知 道 了 软件 缺陷 的 定义 ， 还 了 解 了 其 修复 费 
用 的 情况 。 因 此 ， 软 件 测试 员 的 目的 很 显然 就 是 : 


软件 测试 员 的 目标 是 发 现 软 件 缺 陷 。 


经 常 遇 到 有 产品 开发 小 组 要 测试 员 仅仅 证 实 软件 可 以 运行 ,而 不 是 找 出 缺陷 。 重 新 看 一 
下 火星 极地 登陆 者 号 探测 器 的 用 例 ， 就 会 明白 这 种 方法 为 什么 是 错 的 。 如 果 只 是 为 了 测试 应 
当 达 到 的 功能 ， 建 立 测 试 使 其 通过 ， 就 会 遗漏 功能 不 足 之 处 。 这 样 会 漏 掉 缺 陷 。 

如 果 漏 掉 缺 陷 ， 就 是 在 浪费 项 目 本 身 和 公司 的 钱财 。 作 为 软件 测试 员 ， 不 能 满足 于 仅仅 
找到 软件 缺陷 一 而 应 该 考虑 如 何在 开发 过 程 中 尽快 地 找 出 软件 缺陷 ， 以 便 降低 修复 成 本 。 


软件 测试 员 的 目标 是 尽 可 能 早 地 找 出 软件 缺陷 。 


然而 ， 找 出 缺陷 ， 甚 至 早 一 点 找 出 缺陷 ， 仍 嫌 不 足 。 不 要 忘记 了 软件 缺陷 的 定义 ， 软 件 
测试 员 是 客户 的 眼睛 ， 是 第 一 次 看 到 软件 的 人 ， 代 表 客 户 说 话 ， 应 力求 完美 。 


软件 测试 员 的 目标 是 尽 可 能 早 地 找 出 软件 缺陷 ， 并 确保 其 得 以 修复 。 

这 个 最 终 定义 非常 重要 。 牢 记 这 一 点 ,在 学 完 本 书后 面 的 测试 技术 后 再 来 重 温 这 句 话 。 
注意 “要 记 住 , “修复 ”缺陷 并 非 指 一 定 要 改正 软件 。 可 以 是 指 在 用 户 手 册 中 增加 一 
彼 注 释 或 为 用 户 提供 特殊 的 培训 。 这 可 能 需要 改变 市 场 部 门 广告 宣传 的 数据 或 者 甚至 
推迟 缺陷 部 分 功能 的 发 布 。 从 本 忆 中 将 了 解 到 ， 软 件 测试 人 员 虽 然 在 追求 完美 ， 确 保 
读 陷 都 被 修复 ， 但 软件 测试 的 实质 则 是 另外 一 回 事 。 干 万 不 要 在 无 法 达到 的 完美 上 纠 
纺 和 网 转子 。 


1.6 优秀 的 软件 测试 员 应 具备 的 素质 


在 电影 《星际 迷航 记 中 : 可 汗 的 愤 息 》(Star TrekI: The Wrath of Khan) 中 ，Spock 说 
过 : “在 字 宙 的 历史 中 ， 毁灭 总 是 比 创建 容易 .” 从 表面 看 起 来 ， 软件 测试 员 的 工作 似乎 比 程 
序 员 要 容易 一 些 ， 分 析 代码 并 寻找 软件 缺陷 显然 比 从 头 编写 代码 容易 。 令 人 惊奇 的 是 ， 事 实 
并 非 如 此 。 要 从 本 书 中 学 到 井井有条 的 软件 测试 所 付出 的 努力 和 投入 不 亚 于 编写 程序 ， 两 者 
所 需 的 技术 极为 相似 。 尽 管 软件 测试 员 不 必 成 为 一 个 经 验 丰富 的 程序 员 ， 但 是 拥有 编程 知识 
会 很 有 好 处 。 
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现在 ， 大 多 数 成 熟 的 公司 都 把 软件 测试 视 为 高 级 技术 工程 职位 。 他 们 意识 到 在 项 目 组 中 
配备 经 过 培训 的 软件 测试 员 ， 并 在 开发 过 程 早 期 投入 工作 可 以 生产 出 质量 更 优 的 软件 。 遗 憾 
的 是 ， 目 前 还 是 有 一 些 公司 对 软件 测试 带 来 的 挑战 以 及 杰出 测试 工作 的 价值 不 以 为 然 。 在 自 
由 市 场 的 时 代 ， 这 些 公 司 是 不 会 长 久 的 ， 因 为 用 户 是 不 会 购买 他 们 那些 有 缺陷 的 软件 产品 的 。 
一 个 好 的 测试 组 织 〈 或 者 缺少 测试 的 组 织 ) 可 以 造就 或 搞 震 一 个 公司 。 

下 面 是 大 多 数 软件 测试 员 应 具备 的 素质 : 

。 他们 是 群 探索 者 。 软 件 测试 员 不 会 害怕 进入 陌生 环境 。 他 们 喜欢 拿 到 新 软件 ， 安 装 在 自 

己 的 机 器 上 ， 观 看 结果 。 - 

。 他 们 是 故障 排除 员 。 软 件 测试 员 善 于 发 现 问 题 的 症结 。 他 们 喜欢 解 谜 。 

。 他 们 不 放 过 任何 蛛丝马迹 。 软 件 测试 员 总 在 不 停 地 尝试 。 他 们 可 能 会 碰 到 转瞬 即 逝 或 者 

难以 重 现 的 软件 缺陷 。 他 们 不 会 当做 是 偶然 而 轻易 放 过 ， 而 会 想 尽 一 切 可 能 去 发 现 它 

们 。 

。 他 们 具有 创造 性 。 测 试 显而易见 的 事实 ， 对 软件 测试 员 来 说 还 不 够 。 他 们 的 工作 是 要 设 

想 出 富有 创意 甚至 超常 的 手段 来 寻找 缺陷 。 

。 他 们 是 群 追求 完美 者 。 他 们 力求 完美 ， 但 是 当知 道 某 些 无 法 企及 时 ， 不 去 苛求 ， 而 是 尽 

力 接近 目标 。 

。 他们 判断 准确 。 软 件 测试 员 要 决定 测试 内 容 、 测 试 时 间 ， 以 及 看 到 的 问题 是 否 是 真正 的 

缺陷 。 

。 他 们 注重 策略 和 外 交 。 软 件 测试 员 常常 带 来 的 是 坏 销 息 。 他 们 必须 告诉 程序 员 ， 你 的 孩 

子 (程序 ) 很 且 。 优 秀 的 软件 测试 员 知道 怎样 策略 和 职业 地 处 理 这 些 问 题 ， 也 知道 如 何 

和 不 够 冷静 的 程序 员 合作 。 

e 他 们 善于 说 服 。 软 件 测试 员 找 出 的 缺陷 有 时 被 认为 不 重要 ， 不 用 修复 。 测 试 员 要 善于 清 

晰 地 表达 观点 ， 说 明 软 件 缺陷 为 何必 须 修 复 ， 并 推进 缺陷 的 修复 。 


软件 测试 很 有 趣 ! 

软件 测试 员 的 一 个 基本 素质 是 打破 砂锅 问 到 底 。 他 们 喜欢 找 出 那些 难以 捉摸 的 系 
统 谓 渍 。 他 们 乐于 处 理 最 复杂 的 问题 。 经 常 看 到 他 们 高 高 兴 兴 地 来 回 寄 已 ， 相 互 间 击 
学 庆 搞 ， 拿 到 系统 时 手 兽 足 蹈 的 样子 。 这 就 是 平凡 生活 中 的 乐趣 。 


除了 这 些 素 质 外 ， 在 软件 编程 方面 受过 教育 也 很 重要 。 从 第 6 章 “检查 代码 ”中 可 知 ， 了 
解 软件 是 怎样 编写 的 ， 可 以 从 不 同 角度 找 出 软件 缺陷 ， 从 而 使 测试 更 加 高 效 。 这 还 有 助 于 开 
发 第 15 章 “自动 测试 和 测试 工具 ”中 讨论 的 测试 工具 。 

最 后 要 说 的 是 ， 对 于 非 计算 机 领域 的 专家 来 说 ， 其 专业 知识 对 开发 新 产品 的 软件 小 组 的 
价值 可 能 无 法 衡量 。 编 写 软件 的 目的 是 为 了 解决 现实 中 的 问题 。 因 此 ， 教 学 、 谈 饪 、 航 空 
木工 、 医 疗 等 知识 对 查找 该 领域 软件 的 缺陷 都 有 莫大 的 帮助 。 


1.7 小 结 


软件 测试 是 一 项 批判 性 的 工作 。 随 着 当今 软件 的 规模 和 复杂 性 日 益 增 加 ， 进 行 专业 化 、 
高 效 的 软件 测试 的 要 求 越 来 越 迫切 。 太 多 的 事情 处 于 危机 中 ， 我 们 不 需要 更 多 的 计算 机 缺陷 
芯片 ， 更 多 崩溃 的 系统 ， 更 多 被 盗 的 信用 卡 账户 。 
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第 一 部 分 的 第 2 章 将 讲述 软件 开发 以 及 软件 测试 如 何 融入 到 开发 中 。 这 些 知识 对 于 运用 本 
书 其 他 章节 所 述 的 测试 技术 极 有 帮助 。 


1.8 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 

1. 在 千年 虫 例子 中 ，Dave 有 错 吗 ? 

2. 判断 是 非 : 公司 或 者 开发 小 组 用 来 称呼 软件 问题 的 术语 很 重要 。 

3. 仅仅 测试 程序 是 否 按 预 期 方式 运行 有 何 问题 ? 

4. 产品 发 行 后 修复 软件 缺陷 比 项 目 开发 早期 这 样 做 的 费用 要 高 出 多 少 ? 

5. 软件 测试 员 的 目标 是 什么 ? 

6. 判断 是 非 : 好 的 测试 员 坚 持 不 懈 地 追求 完美 。 

7. 给 出 几 个 理由 说 明 产品 说 明 书 为 什么 通常 是 软件 产品 中 制造 缺陷 的 最 大 来 源 。 





第 2 章 
软件 开发 的 过 程 


要 想 成 为 好 的 软件 测试 员 ， 至 少 要 对 软件 开发 的 全 过 程 有 个 总 体 了 解 。 作 为 学 生 或 爱好 
者 编写 小 程序 的 方法 与 作为 大 公司 开发 软件 的 方法 大 相 径 庭 。 一 个 新 软件 产品 的 建立 可 能 需 
要 数 十 个 、 数 百 个 甚至 上 千 个 小 组 成 员 在 严密 的 进度 计划 下 各 司 其 职 、 相 互 协 作 。 软 件 开 发 
的 过 程 描述 了 这 些 人 做 什么 、 如 何 交 互 、 如 何 决 策 的 细节 。 

本 章 的 目的 不 是 讲述 软件 开发 过 程 的 每 一 个 细节 一 一 这 需要 一 整 本 书 来 讲 ， 本 章 的 目的 是 
综观 软件 产品 构成 的 各 个 部 分 ， 了 解 旧 前 常用 的 一 些 方法 。 这 些 知 识 有 助 于 更 好 地 理解 如 何 
恰当 运用 本 书后 面 各 章节 所 讲述 的 软件 测试 技术 。 

本 章 重点 包括 : 

。 软件 产品 构成 的 主要 部 分 

。 软件 产品 中 包含 哪些 人 劳动 和 技术 

。 软件 从 构想 到 最 终 产品 的 过 程 


2.1 产品 的 组 成 部 分 


软件 产品 到 底 是 什么 ?大 多 数 人 认为 ， 软 件 产品 仅仅 是 从 互联 网 上 下 载 或 者 从 DVD 光盘 安 
装 到 计算 机 上 的 程序 。 这 样 描述 并 无 不 对 ， 实 际 上 制作 软件 还 包括 许多 隐 含 的 内 容 。 还 有 许 
多 “ 藏 在 背后 ”的 东西 通常 被 认为 理所当然 或 者 被 忽视 。 尽 管 这 些 部 分 容易 被 址 忘 ， 但 是 软 
件 测试 员 要 铭记 在 心 ， 因 为 这 些 全 是 可 测试 的 对 象 并 且 可 能 包含 缺陷 。 


2.1.1 软件 产品 需要 多 少 投 入 
首先 ， 让 我 们 看 一 下 软件 产品 需要 多 少 投 入 。 图 2-1 显 示 了 一 些 我 们 可 能 考虑 不 到 的 抽象 


内 容 。 
那么 ， 除 了 实际 的 代码 ， 这 些 构 成 软件 的 部 分 是 什么 呢 ? 初 看 它们 远 不 如 程序 员 所 列 的 
程序 清单 那么 实在 。 它 们 的 确 不 能 从 产品 光盘 中 直接 看 到 ， 然 而 ， 至 少 像 一 个 食品 广告 所 说 
的 那样 : “它们 就 在 里 面 。 

在 软件 行业 中 ， 用 于 描述 制造 出 来 并 交付 他 人 的 软件 产品 组 件 的 术语 是 可 交付 的 部 分 

(deliverable )。 解 释 所 有 可 交付 部 分 内 容 的 最 简便 方法 是 分 门 别 类 。 

2.1.1.1 客户 需求 

编写 软件 的 目的 是 满足 一 些 人 的 需求 ， 这 些 人 称 为 客户 。 为 了 准确 地 满足 需求 ， 产 品 开 
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产品 说 明 书 产品 审查 设计 文档 
、 以 前 版 本 竞争 对 手 
进度 表 的 反馈 的 信息 
测试 计划 


用 户 调查 易 用 性 数据 外 观 说 明 






软件 体系 家 
坊 结构” 灶 | 软 件 从 二 


图 2-1 软件 产品 中 包括 大 量 看 不 见 的 投入 


发 小 组 必须 摸 清 客户 所 想 的 。 有 些小 组 只 是 赁 猜测， 但 大 多 数 小 组 搜集 详细 信息 时 采取 问 
卷 调查 、 收 集 软件 以 前 版 本 反馈 信息 、 收 集 竞争 产品 信息 、 收 集 期 刊 评论 、 收 集 焦点 人 群 的 
意见 以 及 其 他 诸多 方式 ， 一 些 是 正规 的 ， 一 些 是 非 正规 的 。 接 下 来 ， 所 有 这 些 信 息 都 将 被 研 
究 、 提 炼 、 分 析 以 便 确 定 软件 产品 应 该 具备 哪些 功能 。 


利用 焦点 人 群 审 视 软 件 功能 

从 软件 产品 的 潜在 客户 中 获得 直接 反馈 的 流行 做 法 是 借助 焦点 人 群 。 焦 点 人 群 通 
常 由 办 公 室 设 在 商业 场所 的 独立 问卷 调查 公司 来 组 织 。 问 卷 调 查 人 员 通 常 穿行 于 商场 
中 ,手持 笔记 板 询问 过 路 人 是 否 愿意 参加 调查 。 他 们 问 一 些 诸如 “家 里 有 PC 机 吗 ? 
使 用 某 某 软件 吗 ? 用 了 多 长 时 间 ? ”之 类 的 小 问题 来 确定 对 象 。 如 果 遇 到 符合 条 件 的 
对 象 ， 他 们 就 邀请 你 花 一 些 时 间 到 公司 加 入 焦点 人 群 中 。 在 公司 里 调查 问 着 人 员 会 询 
间 你 计算 机 软件 方面 更 详细 的 问题 并 可 能 向 你 展示 各 种 软件 包装 让 你 挑选 最 喜欢 
的 ， 或者， 与 你 探讨 新 产品 中 你 喜欢 的 功能 ; 最 妙 的 是 ， 你 花 了 时 间 ， 得 到 了 相应 的 
报酬 。 

多 数 情况 下 ， 和 焦点 人 群 是 不 知道 软件 公司 的 名 字 的 。 但 是 ， 通 常 又 很 容易 猜 到 “ 
是 谁 。 
2.1.1.2 产品 说 明 书 
对 客户 需求 的 研究 结果 其 实 只 是 原始 资料 ， 并 没有 描述 要 做 的 产品 ， 只 是 确定 是 否 需要 

做 (或 不 需要 做 ) 以 及 客户 要 求 的 功能 。 产 品 说 明 书 综合 上 述 信息 以 及 没有 提出 但 必须 要 实 
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现 的 需求 ,真正 地 定义 产品 是 什么 、 有 哪些 功能 、 外 观 如 何 。 

产品 说 明 书 的 格式 千差万别 。 有 些 公司 一 一 特别 是 为 政府 、 航 天 部 门 、 金 融 机 构 和 医药 企 
业 开 发 产品 的 公司 一 一 采用 严格 的 过 程 ， 要 进行 大 量 的 检查 和 对 比 。 结 果 是 产品 说 明 书 极其 
详细 完整 ， 而 且 是 “锁定 ”的 ， 也 就 是 说 ， 没 有 极 特殊 的 理由 绝 不 能 变 。 开 发 小 组 的 每 一 个 
成 员 都 清楚 地 知道 他 们 在 做 的 是 什么 。 

有 一 些 开 发 小 组 ， 通 常 是 开发 不 很 关键 应 用 的 小 组 ， 在 餐巾 纸 上 就 写 出 产品 说 明 书 。 这 
样 做 的 明显 好 处 是 非常 灵活 ， 但 是 存在 的 风险 是 并 非 所 有 人 都 “站 在 一 起 "。 此 外 ， 最 终 产 品 
是 什么 样 在 发 布 之 前 无 从 得 知 。 

2.1.1.3 进度 表 


软件 产品 的 一 个 关键 部 分 是 进度 表 。 随 着 项 目的 不 断 庞大 和 复杂 ， 制 造 产品 需要 投入 很 
多 人 力 和 物力 ， 因 而 必须 要 有 某 种 机 制 来 跟踪 进度 。 从 简单 地 在 Gantt 图 表 ( 见 图 2-2) 上 列 出 
任务 ， 到 使 用 项 目 管理 软件 详细 跟踪 每 一 分 钟 的 任务 ， 各 种 机 制 不 一 而 足 。 








任务 1 
任务 2 
任务 3 
任务 4 
任务 5 


3/1/2006 4/1/2006 5/1/2006 6/1/2006 7/1/2006 


图 2-2 Gantt 图 表 是 显示 项 目 任务 水 平时 间 线 的 条 形 图 表 


制定 进度 的 目的 是 了 解 哪 项 工作 完成 了 ， 还 有 多 少 工作 要 做 ， 何 时 全 部 完成 。 
2.1.1.4 软件 设计 文档 


一 个 常见 的 错误 观念 是 ， 当 程序 员 编写 程序 时 ， 他 坐 下 来 就 开始 编写 代码 。 这 种 现象 在 
一 些小 的 、 不 正规 的 软件 作坊 中 可 能 发 生 ， 但 是 对 于 稍 大 一 些 的 程序 而 言 ， 就 必须 要 有 一 个 
设计 过 程 来 规划 软件 如 何 编写 。 以 本 书 为 例 ， 在 落笔 之 前 需要 有 一 个 大 纲 。 再 比如 一 幢 建 筑 ， 
在 施工 之 前 要 绘制 蓝图 。 软 件 也 应 该 有 同样 的 计划 。 
根据 公司 和 项 目 合作 小 组 的 不 同 ， 程序 员 的 文档 千差万别 ,但 其 目的 都 是 规划 、 组 织 即 
将 编写 的 代码 。 
下 面 是 一 些 常用 软件 设计 文档 的 清单 : 
。 结构 文档 。 描 述 软件 整体 设计 的 文档 ， 包 括 软件 所 有 主要 部 分 的 描述 以 及 相互 之 间 的 交 
互 方式 。 
。 数 据 流 图 。 表 示 数 据 在 程序 中 如 何 流动 的 正规 示意 图 。 有 时 被 称 为 泡 泡 图 (bubble 
chart)， 因 为 它 是 用 圆圈 和 线 画 的 。 
。 状 态 转换 图 。 把 软件 分 解 为 基本 状态 或 者 条 件 的 另 一 种 正规 示意 图 ， 表 示 不 同 状态 间 转 
换 的 方式 。 
。 流程 图 。 用 图 形 描述 程序 逻辑 的 传统 方式 。 流 程 图 现在 不 流行 了， 但 是 一 旦 投入 使 用 ， 
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根据 详细 的 流程 图 编写 程序 代码 是 很 简单 的 。 

。 代码 注释 。 有 一 个 老 的 说 法 ， 你 写 一 次 代码 ， 至 少 被 别人 看 10 次 。 在 软件 代码 中 风 入 有 
用 的 注释 是 极为 重要 的 ， 这 样 便于 维护 代码 的 程序 员 轻 松 掌握 代码 的 内 容 和 执行 方式 。 
2.1.1.5 测试 文档 


测试 文档 将 在 第 17-20 章 详细 讨论 ， 在 此 提出 是 因为 它 是 完整 的 软件 产品 的 一 部 分 。 和 程 
序 员 必 须 对 工作 进行 计划 和 进行 文档 记录 的 原因 一 样 ， 测 试 员 也 必须 写 测试 文档 。 软 件 测试 
小 组 提交 的 文档 比 程序 员 还 多 的 情况 并 不 少见 。 

下 面 是 比较 重要 的 测试 提交 清单 : 

e 测试 计划 (test plan)。 描 述 用 于 验证 软件 是 否 符合 产品 说 明 书 和 客户 需求 的 整体 方案 。 

包括 质量 目标 、 资 源 需求 、 进 度 表 、 任 务 分 配 、 方 法 等 。 

e 测试 用 例 (test cases)。 列 举 测 试 的 项 目 ， 描 述 验证 软件 的 详细 步骤 。 

e 缺陷 报告 (bug reports ) 。 描 述 执行 测试 用 例 找 出 的 问题 。 可 以 记录 在 纸 上 ， 但 通常 记 

录 在 数据 库 中 。 

e 测试 工具 和 自动 测试 (test tools and automation)。 第 15 章 ,“ 自 动 测试 和 测试 工具 ”将 

详细 讨论 。 如 果 测 试 小 组 使 用 自动 化 测试 工具 测试 软件 ， 不 管 是 购买 的 还 是 自己 编写 的 

工具 ， 都 必须 有 文档 记录 。 

e@ 度量 、 统 计 和 总 结 (metrics，statistics，summaries ) 。 测 试 过 程 的 汇总 。 采 用 图 形 、 

表格 和 报告 等 形式 。 


2.1.2 软件 产品 由 哪些 部 分 组 成 


到 目前 为 止 ， 我 们 知道 了 制作 软件 产品 所 需 的 投入 。 同 样 重要 的 是 ， 要 认识 到 当 产品 打 
包 分 发 时 ， 不 仅仅 分 发 的 是 代码 ， 许 多 支持 包含 在 内 ( 见 图 2-3)。 由 于 所 有 这 些 部 分 客户 都 
要 查看 或 使 用 ， 所 以 也 需要 测试 。 


样本 和 
安装 示例 说明 文件 
帮助 文件 标签 和 
广告 和 宣传 材料 不 干 胶 
错误 信息 用 户 手 册 
产品 支持 





图 标 和 标志 


v1 


而 
这 二 。 下 < 
图 2-3 软件 光盘 只 是 组 成 软件 产品 的 一 部 分 


总 


信息 
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这 各 的 号 ， 这 些 部 分 营 常 在 测试 过 程 中 被 名 上 咯 。 你 一 定 试图 使 用 过 产品 本 身 的 硝 助 文件 ， 
; 或 者 你 检查 购买 的 软件 产品 包装 盒 上 的 系统 要 求 ， 
却 发 现 接 它 所 述 无 法 在 自己 的 机 器 上 运行. 这 些 虽然 看 上 去 很 容易 测试 ， 在 产品 制作 完成 并 
发 布 之 前 甚至 可 能 没有 人 愿意 看 它们 第 二 眼 。 但 是 软件 测试 员 要 检查 这 些 。 

本 章 后 面 将 讲述 这 些 非 软件 部 分 ， 以 及 如 何 正 确 测试 。 在 此 之 前 ， 请 牢记 下 面 的 清单 ， 
从 而 对 软件 产品 不 仅 限于 代码 这 点 有 个 初步 印象 : 





帮助 文件 用 户 手册 
样本 和 示例 标签 和 不 干 胶 
产品 支持 信息 图 标 和 标志 
错误 信息 广告 和 宣传 材料 
安装 说 明文 件 

别 忘 了 测试 错误 提示 信息 


错误 提示 信息 是 软件 产品 最 容易 忽视 的 部 分 ， 通 常 由 程序 员 而 不 是 训练 有 素 的 高 手 来 
写 。 他 们 很 少 计划 这 些 信 息 ， 在 修复 软件 缺陷 时 常常 造成 麻烦 。 软 件 测试 员 也 难以 找 
到 并 显示 全 部 信息 。 千 万 不 要 让 以 下 的 错误 提示 信息 出 现在 软件 中 : 

Error: Keyboard not found. Press F1 to continue. 

Can't instantiate the video thing. 

Windows has found an unknown device and is installing a driver for it. 

A Fatal Exception 006 has occurred at 0000:0000007. 


2.2 软件 项 目 成 员 


知道 了 软件 产品 由 什么 组 成 、 附 带 了 什么 之 后 现在 该 搞 清楚 制作 软件 的 人 员 了 。 当 然 ， 
公司 和 项 目 不 同 ， 人 员 也 就 大 不 相同 。 但 是 对 于 大 多 数 情 况 ， 分工 是 一 样 的 ， 只 是 叫 法 不 同 
而 已 。 

下 面 的 清单 不 按 次 序 地 列 出 了 主要 人 员 及 其 职责 。 给 出 了 最 常用 的 名 称 ， 但 是 不 包括 变 
动 和 增加 等 情况 : 

e@ 项 目 经 理 、 程 序 经 理 或 者 监制 人 员 自 始 至 终 驱 动 整 个 项 目 。 他 们 通常 负责 编写 产品 说 明 

书 、 管 理 进度 、 进 行 重大 决策 。 

e 体系 架构 师 或 者 系统 工程 师 是 产品 小 组 中 的 技术 专家 。 他 们 一般 经 验 丰富 ， 可 以 胜任 设 

计 整 个 系统 的 体系 架构 或 软件 。 他 们 的 工作 与 程序 员 关 系 紧 密 。 

e 程序 员 、 开 发 人 员 或 者 代码 制作 者 设计 、 编 写 软 件 并 修复 软件 中 的 缺陷 。 他 们 与 项 目 经 

理 和 设计 师 密切 合作 制作 软件 ， 然 后 与 项 目 经 理 和 测试 员 密 切合 作 修 复 缺 陷 。 

。 测试 员 或 质量 保证 (Quality Assurance，QA) 员 人 负责 找 出 并 报告 软件 产品 的 问题 。 他 

们 与 开发 小 组 全 部 成 员 在 开发 过 程 中 密切 合作 ,进行 测试 并 报告 发 现 的 问题 。 第 21 章 

“软件 质量 保证 ”完整 地 讲述 了 软件 测试 和 软件 质量 保证 任务 的 差别 。 

e 技术 作者 、 用 户 协 助 专员 、 用 户 培 训 专 员 、 手 册 编 写 员 或 者 文案 专员 编制 软件 产品 附带 

的 文件 和 联机 文档 。 

e 配置 管理 员 或 构建 员 人 负责 把 程序 员 编写 的 代码 及 技术 作者 写 的 全 部 文档 资料 组 合 在 一 

起 ， 合 成 为 一 个 软件 包 。 
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可 见 ， 一 个 软件 产品 需要 多 个 小 组 协作 。 大 型 的 小 组 可 能 有 数 十 、 上 百人 共同 协作 。 为 
了 更 好 地 交流 和 组 织 管理 ， 就 需要 制定 计划 ， 即 从 一 点 过 渡 到 另外 一 点 的 方法 。 这 正 是 下 一 
节 讨 论 的 话题 。 


2.3 软件 开发 生命 周期 模式 


计算 机 行业 流行 一 个 笑话 : 有 三 样 东西 在 制造 过 程 中 是 永远 看 不 见 的 一 一 法 律 、 香 肠 和 软 
件 。 它 们 的 制造 过 程 混乱 复杂 、 令 人 生 厌 ， 以 臻 最 好 只 看 最 后 的 结果 。 这 种 说 法 不 一 定 全 对 ， 
但 是 俗话 说 无 风 不 起 浪 。 有 些 软件 开发 严格 有 序 、 精 工 细 做 ， 有 些 软件 控制 混乱 不 堪 ， 还 有 
的 软件 则 是 一 堆 杂乱 无 章 的 垃圾 。 一 般 地 ， 客 户 最 终 可 以 清楚 地 看 出 开发 过 程 如 何 。 软 件 产 
品 从 最 初 构思 到 公开 发 行 的 过 程 称 为 软件 开发 生命 周期 模式 。 

如 前 所 述 ， 在 开发 软件 过 程 中 有 各 种 不 同 的 方法 。 对 特定 项 目 而 言 ， 没 有 哪个 模式 一 定 
是 最 好 的 。 以 下 是 4 种 最 常用 的 模式 ， 其 他 模式 只 是 这 些 的 形式 变化 而 已 

。 大 爆炸 模式 

。 边 写 边 改 模式 

。 瀑布 模式 

。 螺旋 模式 

每 个 模式 都 有 它 自 己 的 优点 和 缺点 。 作 为 测试 员 ， 可 能 会 遇 到 以 上 所 有 模式 ， 你 需要 根 
据 当前 项 目 采取 的 模式 来 定制 测试 的 方法 。 在 学 习 后 面 的 内 容 时 ， 考 虑 针对 每 种 模式 ， 如 何 
应 用 所 学 的 不 同 测试 技术 。 


2.3.1 大 爆炸 模式 


关于 字 宙 的 形成 有 一 种 大 爆炸 说 ， 数 百 亿 年 前 ， 一 股 无 穷 的 能 量 大 爆炸 创造 了 字 宙 。 世 
界 万 物 缘由 能 量 和 粒子 排列 而 成 ， 于 是 有 了 这 本 书 、DVD 和 比尔 盖 茨 。 假 如 原子 没有 正确 排 
列 ， 这 些 事物 就 会 变 成 一 堆 烂泥 。 

图 2-4 所 示 的 软件 开发 大 爆炸 模式 与 上 述 理论 一 样 。 一 大 堆 东 西 (人力 和 资金 ) 放 在 一 起 ， 
巨大 的 能 量 释放 一 一 通常 很 野蛮 一 一 产生 了 优秀 的 软件 产品 一 一 或 者 一 堆 废品 。 








图 2-4 大 爆炸 模式 是 最 简单 的 软件 开发 模式 


大 爆炸 模式 的 优点 是 简单 。 计 划 、 进 度 安排 和 正规 开发 过 程 几乎 没有 ， 所 有 精力 都 花 在 
开发 软件 和 编写 代码 上 。 假 如 产品 需求 无 需 很 好 理解 ， 而 且 最 终 发 布 日 期 可 以 随便 更 改 ， 这 
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样 的 开发 过 程 很 理想 。 此 外 ， 还 要 有 聪慧 过 人 的 客户 ， 因为 他 们 直到 最 后 才 知 道 自己 会 拿 到 
什么 样 的 软件 。 

注意 图 2-4 中 没有 出 现 测试 。 多 数 情况 下 ， 大 爆炸 模式 几乎 没有 什么 测试 。 假 如 有 的 话 ， 
也 要 挤 在 产品 发 布 前 进行 。 这 种 模式 下 居然 有 测试 的 容 身 之 地 真是 令 人 感到 神奇 ， 也 许 是 进 
行 测试 会 使 大 家 感觉 好 一 些 。 

假如 要 测试 员 参与 大 爆炸 模式 下 生产 产品 的 测试 ， 就 会 面临 一 个 既 容 易 又 困难 的 任务 。 
因为 软件 已 经 完成 ， 测 试 员 手 里 有 了 完美 的 产品 说 明 书 一 产品 本 身 。 但 同时 ， 因为 不 可 能 
回头 修复 已 经 打 乱 的 事情 ， 软 件 测试 的 工作 其 实 就 是 报告 发 现 的 问题 让 客户 知道 。 

更 差 的 情况 是 ， 从 项 目 管理 的 角度 看 ， 产 品 已 经 完工 ， 准 备 交 付 ， 因 此 软件 测试 员 的 工 
作 妨 碍 了 交付 。 测 试 工作 越 深入 ， 就 会 发 现 越 来 越 多 的 软件 缺陷 ， 和 争吵 就 越 多 。 尽量 避 开 在 
此 模式 下 进行 测试 。 
2.3.2 边 写 边 改 模式 


图 2-5 所 示 的 边 写 边 改 模式 是 项 目 小 组 在 未 刻意 采用 其 他 开发 模式 时 默认 的 开发 模式 。 这 
是 在 大 爆炸 模式 基础 上 更 进 了 一 步 ， 至 少 考虑 到 了 产品 需求 。 


典型 的 非 正规 说 明 书 编码 、 修 改 ， 反 复 直 到 ? 
图 2-5 边 写 边 改 模式 将 反复 进行 ， 直 至 有 人 放弃 


一 位 智者 曾 说 过 : “没有 时 间 做 好 ， 但 总 有 时 间 完 成 。” 这 是 该 模式 的 真实 写照 。 采 用 这 
种 方式 的 小 组 通常 最 初 只 有 粗略 的 想法 ， 接 着 进行 一 些 简单 的 设计 ， 然 后 开始 漫长 的 来 回 编 
写 、 测 试 和 修改 缺陷 的 过 程 。 等 到 觉得 足够 了 ， 就 发 布 产品 。 

由 于 开头 几乎 没有 计划 和 文档 编制 ， 项 目 小 组 得 以 迅速 展现 成 果 。 因 此 ， 边 写 边 改 模式 
极其 适合 意 在 快速 制作 而 且 用 完 就 扔 的 小 项 目 ， 例 如 原型 范例 和 演示 程序 。 即 便 如 此 ,许多 
著名 的 软件 仍然 采用 了 边 写 边 改 模式 。 如 果 文 字 处 理 或 者 电子 表格 软件 存在 大 量 软件 缺陷 ， 
或 者 功能 似乎 不 完备 ， 就 可 能 是 在 边 写 边 改 模式 下 制造 出 来 的 。 

与 大 爆炸 模式 类 似 ， 测 试 在 边 写 边 改 模式 中 未 特别 强调 ， 但 是 在 编写 代码 和 修复 缺陷 过 
程 中 举足轻重 。 

作为 边 写 边 改 的 项 目的 软件 测试 员 ， 需 要 和 程序 员 一 样 清醒 地 认识 到 自己 将 陷 人 无 休止 
的 循环 往复 。 几 乎 每 一 天 都 会 拿 到 新 的 软件 版 本 并 着 手 进行 测试 。 当 新 版 本 出 来 时 ， 旧 版 本 
的 测试 可 能 尚未 完成 ， 而 新 版 本 还 可 能 包含 新 的 或 者 经 过 修改 的 功能 。 最 后 ， 终 于 有 机 会 对 
儿 乎 所 有 功能 进行 测试 了 ， 并 且 发 现 软件 缺陷 越 来 越 少 ， 这 时 某 人 . (或 者 进度 ) 决定 该 发 布 
软件 了 。 

在 进行 软件 测 工 作 期 间 ， 边 写 边 改 模式 是 最 有 可 能 磁 到 的 。 这 种 模式 是 软件 开发 的 入 门 ， 
有 助 于 理解 更 加 正规 的 方法 。 
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2.3.3 瀑布 模式 


瀑布 模式 常常 是 编程 学 校 所 教 的 第 一 课 ， 现 在 已 经 无 处 不 在 。 它 简捷 、 精 致 、 很 有 意义 ， 
在 合适 的 项 目 中 效果 显著 。 图 2-6 给 出 了 该 模式 的 步骤 。 





图 2-6 在 瀑布 模式 下 ， 软 件 开发 过 程 一 步 接 一 步 进行 


采用 瀑布 模式 的 项 目 从 最 初 的 构思 到 最 终 产品 要 经 过 一 系列 步骤 。 每 一 个 步骤 结束 时 ， 
项 目 小 组 组 织 审查 ， 并 决定 是 否 进入 下 一 步 。 如 果 项 目 未 准备 好 进入 下 一 步 ， 就 停滞 下 来 ， 
直到 准备 好 。 

关于 瀑布 模式 有 三 点 需要 强调 : 

。 瀑布 模式 非常 强调 产品 的 定义 。 注 意 ， 开 发 或 者 代码 编制 阶段 只 是 其 中 单独 的 一 块 。 

。 瀑布 模式 各 步骤 是 分 立 的、 没有 交叉 。 

。 瀑布 模式 无 法 回溯 。 一 旦 进入 某 一 个 步骤 ， 就 要 完成 该 步 又 的 任务 ， 然 后 才能 向 下 继 

续 一 一 无 法 回 湖 。” 

看 起 来 似乎 限制 太 多 ， 实 际 上 也 是 如 此 。 但 是 ， 对 于 拥有 明确 清晰 的 产品 定义 和 训练 有 
素 的 开发 人 员 的 项 目 而 言 ， 该 模式 的 效果 很 好 。 该 模式 的 目标 是 在 编写 代码 之 前 解决 所 有 的 
未 知 问题 并 明确 所 有 细节 。 人 缺点 是 ， 在 这 个 变化 迅速 、 在 互联 网 上 开发 产品 的 时 代 ， 当 软件 
产品 还 在 细 细 考虑 和 定义 时 ， 当 初 制造 它 的 理由 都 可 能 会 变 了。 

从 测试 的 角度 来 看 ， 瀑 布 模式 比 截止 到 目前 为 止 的 其 他 模式 更 有 优势 。 瀑 布 模式 所 有 一 
切 都 有 完整 细致 的 说 明 。 当 软件 提交 到 测试 小 组 时 ， 所 有 细节 都 已 确定 并 有 文档 记录 ， 而 且 
实现 在 软件 之 中 。 由 此 ， 测 试 小 组 得 以 制订 精确 的 计划 和 进度 。 测 试 对 象 非常 明确 ， 在 分 辨 
是 功能 还 是 缺陷 上 也 没有 一 点 问题 。 , 

然而 ， 这 个 优点 也 带 来 一 个 巨大 的 缺点 。 因 为 测试 仅 在 最 后 进行 ， 所 以 一 些 根本 性 问题 
可 能 出 现在 早期 ， 但 是 直到 准备 发 布 产品 时 才 可 能 发 现 。 还 记得 第 1 章 “软件 测试 的 背景 ”中 


提 ”瀑布 模式 的 变形 模式 放松 了 该 规则 限制 ， 允 许 有 的 步骤 交叉 以 及 在 必要 时 回溯 。 


所 讲 的 软件 缺陷 修复 费用 怎样 随时 间 增 长 吗 ? 我 们 需要 一 个 模式 可 以 在 早期 费用 不 大 时 就 执 
行 测试 。 


2.3.4 螺旋 模式 


尽管 螺旋 模式 不 太 理 想 ， 但 是 该 模式 ( 见 图 2-7) 确实 经 历 了 很 长 的 路 来 解决 其 他 模式 中 
存在 的 问题 ， 同 时 有 一 些 好 的 突破 。 


昧 计 费 用 





图 2-7 螺旋 模式 从 小 开始 ， 随 着 项 目 定义 的 明确 迅速 展开 并 得 到 稳定 


螺旋 模式 于 1986 年 由 Barry Boehm 在 美国 计算 机 协会 (Association for Computing 
Machinery, ACM ) 的 论文 “一 种 软件 开发 的 螺旋 模式 和 加 强 ” 中 引入 。 目 前 使 用 相当 广泛 ， 
并 被 证 实 是 开发 软件 的 有 效 手 段 。 

螺旋 模式 的 总 体 思想 是 一 开始 不 必 详 细 定 义 所 有 细节 。 从 小 开始 ， 定 义 重要 功能 ， 努 力 
实现 这 些 功 能 ， 接 受 客户 反馈 ， 然 后 进入 下 一 阶段 。 重 复 上 述 过 程 ， 直 至 得 到 最 终 产品 。 

螺旋 模式 每 一 次 循环 包括 6 个 步骤 : 

1) 确定 目标 、 可 选 方案 和 限制 条 件 。 

2) 明确 并 化 解 风险 。 

3) 评估 可 选 方案 。 

4) 当前 阶段 开发 和 测试 。 

5) 计划 下 一 阶段 。 

6) 确定 进入 下 一 阶段 的 方法 。 

螺旋 模式 中 包含 了 一 点 瀑布 模式 (分析 、 设 计 、 开 发 和 测试 的 步骤 )、 一 点 边 写 边 改 模式 
(螺旋 模式 的 每 一 次 ) 和 一 点 大 爆炸 模式 (从 外 界 观 察 )。 加 上 该 模式 发 现 问 题 早 、 成 本 低 的 
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特点 ， 可 以 算 做 相当 好 的 开发 模式 。 

软件 测试 员 喜 欢 该 模式 。 因 为 通过 参与 最 初 的 设计 阶段 ， 可 以 尽早 地 影响 到 产品 ， 可 以 把 
产品 的 来 龙 去 脉 弄 得 很 清楚 ; 并 且 在 项 目 末 期 ,不 至 于 最 后 一 分 钟 还 在 匆匆 忙 忙 地 进行 全 面 测 
试 。 软 件 测试 员 的 测试 一 直 都 在 进行 ， 所 以 最 后 一 步 只 是 一 个 验证 表面 所 有 部 分 都 没有 问题 。 


敏捷 软件 开发 

有 一 种 开发 过 程 ， 受 到 许多 软件 公司 的 喜爱 ， 叫 做 敏捷 软件 开发 (Agile Software 
Development)。 我 们 也 许 听 说 过 它 的 另外 一 些 名 称 ， 如 快速 原型 、 极 限 编程 或 进化 开 
发 等 。 

教 捷 软 件 开发 的 目的 ， 加 登载 在 网 站 www.agilemanifesto.org 上 的 教 捷 宣 言 中 所 
述 ， 是 : 
“通过 过 程 和 工具 理解 个 人 和 交流 的 作用 

通过 全 面 的 文档 理解 运行 的 软件 

通过 合同 和 谈判 得 到 客户 的 协作 

在 计划 的 执行 中 做 出 对 变更 的 响应 

也 就 是 说 ， 在 一 方面 有 价值 的 时 候 ， 更 应 评价 它 在 另外 一 方面 的 价值 ” . 

敏捷 软件 开发 取得 了 一 定 的 发 展 ， 也 有 一 些 成 功 的 项 目 ， 但 远 未 成 主流 。 敏 捷 软 
件 开发 中 ， 如 果 开发 人 员 和 他 的 项 目 陷 在 了 过 程 和 文档 中 的 话 ， 它 就 似乎 成 了 一 个 深 
奥 的 哲学 ， 在 我 看 来 ,敏捷 软 件 开 发 很 容易 偏离 主题 而 造成 混乱 。 一 种 方法 是 先 观察 、 
了 解 ， 再 决定 是 否 采用 此 方法 。 目 前 ， 我 并 不 想像 坐 喷气 式 飞 机 一 样 ， 用 一 个 极限 编 
程 员 采用 快速 原型 法 来 开发 软件 。 也 许 以 后 会 。 

想 了 解 更 多 的 信息 ， 参 者 两 本 Sams 出 版 社 出 版 的 书 一 一 《Agile Modeling, Teach 
Yourself Extreme Programming in 24 Hours》 和 《Extreme Programming Practices in 
Action)。 


2.4 小 结 


现在 我 们 知道 了 软件 产品 是 如 何 制作 的 一 一 包括 所 有 组 成 部 分 及 其 合成 过 程 。 可 以 看 到 ， 
制造 产品 无 定式 可 言 ， 本 章 所 讲 的 4 个 模式 就 是 例证 。 当 然 还 有 许多 其 他 模式 以 及 这 些 模式 的 
变形 模式 。 每 一 个 公司 、 每 一 个 项 目 和 每 一 个 小 组 都 会 选择 适合 自身 情况 的 模式 ， 选 择 有 可 
能 是 对 的 ， 也 有 可 能 是 错 的 。 软 件 测 试 员 的 工作 是 在 所 处 的 开发 模式 中 尽 最 大 的 努力 工作 ， 
运用 本 书 所 讲 的 测试 技术 创造 出 尽量 完善 的 软件 。 


2.5 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 
1. 说 出 在 程序 员 开 始 编写 代码 之 前 要 完成 哪些 任务 ? 

2. 正式 并 被 锁定 不 能 修改 的 产品 说 明 书 有 何 缺 点 ? 

3. 软 件 开发 大 爆炸 模式 的 最 大 优点 是 什么 ? 

4. 采用 边 写 边 改 模式 时 ， 如 何 得 知 软件 发 布 的 时 间 ? 

5. 瀑布 模式 为 什么 不 好 用 ? 

6. 软件 测试 员 为 什么 最 喜欢 螺旋 模式 ? 


第 3 章 
软件 测试 的 实质 


第 1 章 “ 软 件 测试 的 背景 ”和 第 2 章 “ 软 件 开 发 的 过 程 ”讲述 了 软件 测试 和 软件 开发 过 程 
的 基础 知识 。 这 两 章 的 内 容 从 较 高 的 层面 和 分 析 推 论 的 角度 描述 了 软件 项 目 如 何 运 作 。 遗 憾 
的 是 ， 在 现实 生活 中 ， 几 乎 看 不 到 任何 纯粹 采用 某 种 模式 进行 的 项 目 ， 看 不 到 完全 符合 客户 
要 求 的 详细 产品 说 明 书 ， 也 没有 足够 的 时 间 去 做 所 有 需要 做 的 测试 。 没 有 ， 真 的 没有 。 但 是 ， 
要 想 成 为 卓有成效 的 软件 测试 员 ， 就 应 该 知道 这 个 理想 的 过 程 正 是 追求 的 目标 。 

本 章 的 目的 是 从 软件 的 角度 把 这 个 理想 变 得 现实 一 点 。 这 将 有 助 于 理解 在 整个 开发 周期 
中 ， 实 际 上 必须 做 出 取舍 和 让 步 。 大 多 数 取 舍 与 软件 测试 的 投入 相关 ， 测 试 中 发 现 的 缺陷 和 
避免 的 问题 都 对 项 目 有 莫大 的 影响 。 学 完 本 章 后 ， 就 会 清楚 地 了 解 软件 测试 的 作用 、 影 响 和 
责任 ， 从 而 喜欢 上 制作 软件 产品 所 必需 的 幕后 决策 工作 。 

本 章 重 点 包括 : 

。 软 件 为 什么 永远 不 会 完美 

。 软件 测试 为 什么 不 仅仅 是 技术 问题 

。 软件 测试 员 的 常用 术语 . 


3.1 测试 的 原则 


本 节 所 列举 的 是 一 些 原则 或 者 公理 ， 可 以 视 为 软件 测试 和 软件 开发 的 “交通 规则 ”或 者 
“ 壬 活 常识 ”。 每 一 条 原则 对 于 透彻 了 解 整个 过 程 来 说 都 是 宝贵 的 点 滴 知识 。 


3.1.1 完全 测试 程序 是 不 可 能 的 


软件 测试 新 手 可 能 认为 ， 可 以 在 拿 到 软件 后 进行 完全 测试 ， 找 出 所 有 的 软件 缺陷 ， 确 保 
软件 完美 无 缺 。 遗 憾 的 是 ， 这 是 不 可 能 的 ， 即 使 最 简单 的 程 
序 也 不 行 ， 主 要 有 如 下 4 个 原因 : 

。 输入 量 太 大 。 

。 输出 结果 太 多 。 

。 软件 执行 路 径 太 多 。 

e 软件 说 明 书 是 主观 的 。 可 以 说 从 旁观 者 来 看 是 缺陷 。 

以 上 这 些 “ 太 多 ”的 可 能 性 加 在 一 起 ， 构 成 了 一 个 太 大 一 
而 难以 进行 的 测试 条 件 。 如 果 不 信 ， 那 就 以 如 图 3-1 所 示 的 图 3-1 即使 简单 如 Windows 计 算 器 
Microsoft Windows 计 算 器 程序 为 例 来 看 一 下 。 的 程序 都 复杂 得 难以 全 部 测试 
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假设 我 们 受命 测试 这 个 计算 器 。 我 们 决定 首先 从 加 法 开始 。 试 着 输入 1+0=， 得 到 的 答案 
是 1， 结 果 正 确 。 接 着 输入 1+1=， 答 案 是 2。 还 要 走 多 远 呢 ? 因为 计算 器 可 以 处 理 32 位 的 数字 ， 
所 以 必须 测试 所 有 的 可 能 性 ， 直 至 输入 

1+99999999999999999999999999999999= 

这 一 系列 测试 完 之 后 ， 继 续 输入 2+0=、2+1=、2+2=， 以 此 类 推 。 最 后 输入 

99999999999999999999999999999999+99999999999999999999999999999999= 

下 一 步 测试 所 有 的 小 数 : 1.0+0.1、1.0+0.2， 以 此 类 推 。 

验证 完 正 常 的 数字 相 加 正确 无 误 之 后 ， 还 要 测试 非法 输入 是 否 得 到 正确 的 处 理 。 不 要 忘 
了 ， 不仅 可 以 单 击 画面 上 的 数字 键 一 -还 可 以 按键 盘 上 的 任意 键 。 好 的 测试 数据 比如 1+a， 
2z+1 ，1lal+2b2，… 逐 项 下 来 ， 这 样 的 组 合 何止 亿 万 。 

输入 的 编辑 修改 也 必须 测试 。Windows 计 算 器 程序 允许 输入 退 格 键 和 删除 键 ， 应 该 加 以 
测试 。1< 退 格 键 >2+2 应 该 等 于 4。 前 面 测 试 过 的 每 一 项 副 试 还 要 逐个 按 退 格 键 重 新 测试 。 

如 果 要 测试 所 有 的 情况 ， 还 得 进行 3 个 数 相 加 、4 个 数 相 加 ， 等 等 ……。 

输入 项 太 多 了 ， 根 本 无 法 完全 测试 ， 即 使 使 用 超级 计算 机 来 输 数 也 无 济 于 事 。 这 还 仅仅 
是 加 法 ， 还 有 减法 、 乘 法、 除法 、 求 平方 根 、 百 分 数 和 倒数 等 测试 要 做 。 

举 这 个 例子 的 目的 是 说 明 完全 测试 一 个 程序 是 不 可 能 的 ， 即 使 是 简单 如 计算 器 这 样 的 软 
件 也 不 例外 。 如 果 觉 得 某 些 测 试 条 件 是 重复 的 、 无 必要 的 ， 或 者 为 了 节省 空间 ， 而 将 其 剔除 ， 
那么 采用 的 就 是 不 完全 测试 。 


3.1.2 软件 测试 是 有 风险 的 行为 


如 果 决 定 不 去 测试 所 有 的 情况 ， 那 就 是 选择 了 冒险 。 在 计算 器 的 例子 中 ， 如 果 选 择 不 去 
测试 1024+1024=2048 会 怎样 昵 ? 有 可 能 程序 员 磁 巧 在 这 种 情况 下 留 下 一 个 软件 缺陷 。 如 果 软 
件 测 试 员 没 有 对 此 测试 ， 客 户 却 碰巧 输入 了 这 组 数 ， 就 会 发 现 这 个 缺陷 。 这 将 是 修复 代价 很 
高 的 软件 缺陷 ， 因 为 它 直 到 软件 使 用 时 才 被 客户 发 现 。 

这 样 说 有 些 和 他人 听闻 。 软 件 测 试 员 不 能 做 全 部 的 测试 ， 不 完全 测试 又 会 漏 掉 软 件 缺 陷 。 软 
件 终归 要 发 布 的 ， 所 以 测试 需要 停止 ， 但 是 如 果 过 早 停 下 来 ， 就 还 有 地 方 没 测 试 到 。 怎 么 办 ? 

软件 测试 员 要 学 会 的 一 个 关键 思想 是 ， 如 何 把 数量 巨大 的 可 能 测试 减少 到 可 以 控制 的 范 
围 ， 以 及 如 何 针对 风险 做 出 明智 的 抉择 ， 哪 些 测 试 重要 ， 哪 些 不 重要 。 

图 3-2 说 明了 测试 量 和 发 现 的 软件 缺陷 数量 之 间 的 关系 。 如 果 试 图 测试 所 有 情况 ， 费 用 将 
大 幅 增 加 ， 而 软件 缺陷 漏 掉 的 数量 在 到 达 某 一 点 后 没有 显著 变化 。 如 果 减 少 测试 或 者 错误 地 
确定 测试 对 象 ， 虽 然 费 用 很 低 ， 但 是 会 漏 掉 大 量 软 件 缺 陷 。 我 们 的 目标 是 找到 最 优 的 测试 量 ， 
使 测试 不 多 不 少 。 

第 4 章 到 第 7 章 将 讲述 如 何 设计 和 选择 测试 用 例 以 减少 风险 ， 优 化 测试 的 技术 。 


3.1.3 测试 无 法 显示 潜伏 的 软件 缺陷 


好 好 思考 一 下 这 个 标题 。 假 设 你 是 负责 检查 房间 是 否 有 害虫 的 检疫 员 ， 通 过 仔细 检查 ， 
发 现 了 害虫 的 迹象 一 -有 活 的 、 死 的 ， 或 者 在 富里 ， 你 可 以 放心 地 说 房间 里 有 害虫 。 

现在 又 来 到 另 一 个 房间 。 这 一 次 没有 找到 害虫 的 迹象 。 在 所 有 可 能 的 地 方 找 了 ， 找 不 到 
害虫 出 没 的 痕迹 。 也 许 找到 一 些 死 虫 或 者 废弃 的 富 ， 但 是 无 法 证 实 有 活 的 害虫 。 你 能 肯定 地 
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过 度 测试 


测试 量 
图 3-2 每 一 个 软件 项 目 都 有 一 个 最 优 的 测试 量 


说 这 间 房 子 没有 害虫 吗 ? 不 能 ， 你 能 得 出 的 结论 只 是 在 你 的 搜索 下 没有 找到 活着 的 害虫 。 除 
非 在 把 房子 彻底 拆 掉 ， 否 则 难以 保证 不 会 使 其 轻易 漏网 。 

软件 测试 工作 与 防疫 员 的 工作 极为 相似 ， 可 以 报告 软件 缺陷 存在 ， 却 不 能 报告 软件 缺陷 
不 存在 。 你 可 以 进行 测试 ， 发 现 并 报告 软件 缺陷 ， 但 是 任何 情况 下 都 不 能 保证 软件 缺陷 没有 
了 。 唯 一 的 方法 是 继续 测试 ， 可 能 还 会 找到 一 些 。 


3.1.4 找到 的 软件 缺陷 越 多 ， 就 说 明 软件 缺陷 越 多 


生活 中 的 害虫 和 软件 缺陷 几乎 完全 一 样 ， 两 者 者 成 群 出 现 ， 发 现 一 个 ， 附 近 就 可 能 会 有 
一 群 。 
通常 ， 软 件 测试 员 会 在 很 长 时 间 内 找 不 到 软件 缺陷 。 接 着 找到 一 个 ， 之 后 很 快 就 会 搂 二 
连 三 地 找到 更 多 。 其 中 的 原因 是 : 
。 程序 员 也 有 心情 不 好 的 时 候 。 和 我 们 大 家 一 样 ， 程 序 员 也 要 休假 。 某 天 编写 代码 可 能 心情 
还 不 错 ， 另 一 天 可 能 就 烦 燥 不 安 了 。 一 个 软件 缺陷 表明 很 可 能 附近 还 有 更 多 的 软件 缺陷 。 
。 程 序 员 往往 犯 同样 的 错误 。 每 个 人 都 有 习惯 ， 一 个 程序 员 总 是 反复 犯 下 自己 容易 犯 的 错误 。 
。 某 些 软件 缺陷 实 乃 冰山 一 角 。 软 件 的 设计 或 者 体系 常常 会 出 现 基本 问题 。 软 件 测试 员 可 
能 会 发 现 某 些 软件 缺陷 开始 似乎 毫 无 关联 ， 但 是 最 后 才 知 道 它们 是 由 一 个 严重 的 主要 原 
因 造 成 的 。 
一 定 要 注意 ,，“ 软 件 铅 陷 一 个 接 一 个 ”的 说 法 倒 过 来 讲 也 对 。 如 果 无 论 如 何 努力 都 投 不 出 
软件 缺陷 ， 那 么 也 可 能 是 软件 经 过 精心 编制 ， 确 实 存在 极 少 软件 缺陷 。 


3.1.5 杀 虫 剂 怪事 
1990 年 ，Boris Beizer 在 其 编著 的 《Software Testing Techniques》 第 2 版 一 书 中 杜撰 了 “ 杀 
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求 剂 怪事 ”一 词 ， 用 于 描述 软件 测试 越 多 ， 其 对 测试 的 免疫 力 越 强 的 现象 。 这 与 农药 杀 虫 是 
一 样 的 〈 见 图 3-3)， 老 用 一 种 农药 ， 害 虫 最 后 就 有 了 抵抗 力 ， 农 药 再 也 发 挥 不 了 效力 。 





软件 测试 员 软件 缺陷 
图 3-3 反复 使 用 相同 的 测试 软件 最 后 会 使 软件 具有 抵抗 力 


还 记得 第 2 章 描述 的 软件 开发 螺旋 模式 吗 ? 每 一 圈 都 要 重复 测试 过 程 。 每 一 次 循环 ， 软 件 
测试 员 都 要 接 到 软件 进行 测试 。 最 后 ， 经 过 几 个 回合 之 后 ， 能 发 现 的 软件 缺陷 都 发 现 了 ， 再 
测试 下 去 也 不 会 有 新 的 发 现 了 。 

为 了 克服 杀 虫 剂 怪事 ， 软 件 测 试 员 必须 不 断 编写 不 同 的 、 新 的 测试 程序 ， 对 程序 的 不 同 
部 分 进行 测试 ， 以 找 出 更 多 软件 缺陷 。 


3.1.6 并 非 所 有 软件 缺陷 都 要 修复 


在 软件 测试 中 令 人 诅 表 的 是 ， 虽 然 测 试 员 尽 了 最 大 的 努力 ， 但 并 非 找 出 的 所 有 软件 缺陷 
都 要 修复 。 不 要 泄气 一 -这 并 不 意味 着 软件 测试 员 未 达到 目的 ,或 者 项 目 小 组 将 发 布 质量 欠 
佳 的 产品 。 其 真正 的 含义 要 依赖 第 1 章 所 列 的 软件 测试 员 的 素质 一 -进行 良好 的 判断 ， 搞 清楚 
在 什么 情况 下 不 能 追求 完美 。 项 目 小 组 需要 进行 取舍 ， 根 据 风险 决定 哪些 缺陷 要 修复 ， 哪 些 
不 需要 修复 。 

不 需要 修复 软件 缺陷 的 原因 有 几 个 : 

。 没 有 足够 的 时 间 。 在 任何 一 个 项 目 中 ， 通 常 是 软件 功能 太 多 ， 而 代码 编写 人 员 和 软件 测 

试 人 员 太 少 ， 而 且 进 度 中 没有 留 出 足够 的 空间 来 完成 项 目 。 假 如 你 应 在 制作 税务 处 理 程 

序 ，4 月 15 日 ( 赶 在 应 付 税务 检查 之 前 一 - 译 者 注 ) 是 不 可 更 改 的 交付 期 限 一 必须 按 

时 完成 软件 。 

。 不 算 真正 的 软件 缺陷 。 也 许 有 人 会 说 :“ 这 不 算 软 件 缺陷 , 而 是 一 项 功能 .” 很 多 情况 下 ， 

理解 错误 、 测 试 错误 或 者 说 明 书 变更 会 把 可 能 的 软件 缺陷 当做 功能 来 对 待 。 

。 修 复 的 风险 太 大 。 和 遗憾 的 是 ， 这 些 情形 很 常见 。 软 件 本 身 是 脆弱 的 、 难 以 理 清 头 绪 ， 有 

点 像 一 团 乱 麻 ， 修 复 一 个 软件 缺陷 可 能 导致 其 他 软件 缺陷 出 现 。 在 紧迫 的 产品 发 布 进度 

压力 下 ， 修 改 软件 将 冒 很 大 的 风险 。 不 去 理 皮 已 知 的 软件 缺陷 ， 以 避免 造成 新 的 、 未 知 

“的 缺陷 的 做 法 也 许 是 安全 之 道 。 
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。 不 值得 修复 。 虽 然 有 些 不 中 昕 ， 但 是 事实 。 不 常 出 现 的 软件 缺陷 和 在 不 常用 功能 中 出 现 
的 软件 缺陷 是 可 以 放 过 的 , 可 以 躲 过 和 用 户 有 办 法 预防 或 避免 的 软件 缺陷 通常 不 用 修复 。 
这 些 都 要 归结 为 商业 风险 决策 。 
决策 过 程 通常 由 软件 测试 员 、 项 目 经 理 和 程序 员 共 同 参 与 。 他 们 站 在 各 自 的 立场 看 待 缺 
陷 ， 对 软件 缺陷 是 否 应 该 或 不 应 该 修复 都 有 自己 的 观点 和 看 法 。 第 19 章 “报告 发 现 的 问题 ” 
将 详细 讲述 如 何 报告 软件 缺陷 ， 并 使 其 他 人 知道 。 


作出 错误 决策 的 后 果 

还 记得 第 1 齐 描 述 的 英特尔 寿 腾 处 理 器 献 陷 吗 ? 英特尔 公司 的 测试 工程 师 虽然 在 
蔷 片 发 布 之 前 发 现 了 缺陷 ， 但 是 产品 开发 小 组 认为 这 是 一 个 不 常见 的 小 缺陷 ， 不 值得 
修复 。 他 们 处 于 紧张 的 进度 催促 之 下 ， 决 定 赶 在 最 后 期 限 之 前 完工 ， 然 后 在 后 面 发 布 
的 芯片 中 修复 缺陷 。 结 果 软 件 缺 陷 被 发 现 ， 后 来 成 了 历史 事件 。 

在 任何 一 个 软件 中 ， 对 于 每 一 个 成 为 新 闻 头 条 的 “奔腾 处 理 器 ”一 类 的 缺陷 ， 可 
能 会 有 数 以 百 计 的 缺陷 没有 修复 ， 因 为 这 些 缺 陷 被 认为 没有 大 的 副作用 。 只 有 时 间 才 
能 说 明 这 样 的 决策 是 对 的 ， 还 是 错 的 。 


3.1.7 什么 时 候 才 叫 缺 陷 难 以 说 清 


如 果 软 件 中 存在 问题 ， 但 没有 人 发 现 一 一 程序 员 没 有 发 现 、 测 试 员 没 有 发 现 ， 甚 至 客户 也 
没有 发 现 一 一 那么 它 算 不 算 软 件 缺 陷 ? 

假如 把 一 群 软件 测试 员 京 集 起 来 提出 上 述 问 题 ， 就 会 引发 激烈 的 讨论 ， 每 个 人 都 有 自己 
的 观点 ， 都 能 完美 地 表达 出 来 。 问 题 是 没有 准确 的 答案 ， 答 案 因 开发 小 组 决定 的 最 适合 自己 
的 而 千差万别 。 

鉴于 本 书 的 目的 ， 回 顾 一 下 第 1 章 所 述 的 软件 缺陷 定义 规则 : 

1) 软件 未 实现 产品 说 明 书 要 求 的 功能 。 

2) 软件 出 现 了 产品 说 明 书 指明 不 应 该 出 现 的 错误 。 

3) 软件 实现 了 产品 说 明 书 未 提 到 的 功能 。 

4) 软件 未 实现 产品 说 明 书 虽 未 明确 提 及 但 应 该 实现 的 目标 。 

5) 软件 难以 理解 、 不 易 使 用 、 运 行 速 度 慢 ， 或 者 软件 测试 员 认 为 最 终 用 户 会 认为 不 好 。 

遵守 以 上 这 些 规则 ， 有 助 于 澄清 什么 样 的 软件 缺陷 才 算 缺陷 这 个 模棱两可 的 问题 。 说 软 
件 有 没有 “ 某 功能 " ， 指 的 是 软件 运行 时 发 现 有 “ 某 功能 ”或 者 “缺少 某 功 能 " 。 由 于 不 能 报 
告 没有 看 见 的 问题 ， 因 此 ， 没 有 看 见 就 不 能 说 存在 软件 缺陷 。 

还 可 以 从 另外 一 个 角度 来 思考 。 两 个 人 对 于 同一 个 软件 产品 的 质量 持 有 完全 不 同 的 见解 
并 不 罕见 。 也 许 一 个 人 说 该 软件 的 缺陷 太 多 ， 而 另 一 个 人 会 说 该 软件 很 完美 。 怎 么 可 能 都 对 
呢 ? 一 定 是 一 个 人 以 某 种 方式 运行 软件 时 暴露 了 大 量 软件 缺陷 ， 而 另 一 个 没有 这 样 做 。 


注意 尚未 发 现 或 未 观察 到 的 软件 缺陷 只 能 说 是 潜在 缺陷 。 


如 果 没 搞 明白 也 不 要 紧 ， 在 软件 测试 中 与 同行 进行 探讨 ， 听 听 他 们 的 看 法 。 听 听 别 人 的 
意见 ， 验 证 他 们 的 想法 ， 从 而 明确 自己 的 观点 。 请 记 住 这 个 老 问题 “一 棵 树 倒 在 森林 中 没有 
人 听见 ， 它 发 出 声音 了 吗 ?” 
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3.1.8 产品 说 明 书 从 没有 最 终 版 本 


软件 开发 者 面临 一 个 难题 。 整 个 行业 变化 太 快 ， 去 年 还 很 先进 的 产品 今年 就 过 时 了 ; 同 
时 ， 软 件 变 得 更 庞大 、 更 复杂 ， 功 能 越 来 越 多 ， 导 致 软件 开发 周期 越 来 越 长 。 这 两 种 反作用 
力 形成 了 了 矛盾， 结果 导致 产品 说 明 书 经 常 变化 。 

除了 紧 跟 变化 没有 其 他 办 法 。 假 定 我 们 的 产品 有 一 份 最 后 定 版 的 且 不 得 更 改 的 产品 说 明 
书 。 两 年 按部就班 的 开发 进行 到 一 半 时 ， 主 要 竞争 对 手 发 布 了 一 个 类 似 的 产品 ， 而 且 拥 有 一 
些 我 们 不 具备 的 、 吸 引 人 的 功能 。 是 继续 按照 产品 说 明 书 开发 ， 明 年 发 布 一 个 没有 竞争 力 的 
产品 呢 ? 还 是 重 整 人 马 ， 重 新 讨论 产品 功能 ， 重 写 产品 说 明 书 ， 开 发 经 过 修订 的 产品 呢 ? 明 
智 的 选择 是 后 者 。 

软件 测试 员 必须 要 想到 产品 说 明 书 可 能 改变 。 未 曾 计 划 测 试 的 功能 会 增加 ， 经 过 测试 并 
报告 软件 缺陷 的 功能 可 能 发 生变 化 甚至 被 删除 。 这 些 都 是 有 可 能 会 发 生 的 。 本 书后 面 的 章节 
将 讲述 灵活 地 制订 测试 计划 和 执行 测试 的 技术 。 


3.1.9 软件 测试 员 在 产品 小 组 中 不 受 欢迎 


还 记得 软件 测试 的 且 标 吗 ? 
软件 测试 的 目标 是 尽 可 能 早 地 找 出 软件 缺陷 ， 确 保 其 得 以 修复 。 
软件 测试 员 的 工作 是 检查 和 批评 同事 的 工作 、 挑 毛病 、 公 布 发现 的 问题 。 唉 ， 做 这 项 工 
作 不 会 受 普遍 的 欢迎 的 ! 
下 面 是 保持 小 组 成 员 和 了 睦 的 建议 : 
。 早 点 找 出 缺陷 。 这 是 软件 测试 员 理所当然 的 工作 ， 但 是 做 到 很 难 。 在 三 个 月 之 前 而 不 是 
在 产品 即将 发 面前 夕 找 出 严重 的 软件 缺陷 ， 会 产生 更 小 的 影响 ， 更 容易 让 人 接受 。 
。 控制 情绪 。 诚然 , 软件 测试 员 真 心 喜爱 自己 的 工作 ， 当 发 现 严 重 的 软件 缺陷 时 非常 兴奋 。 
但 是 ， 如 果 兴 冲冲 地 间 进 程序 员 同 事 的 房间 告诉 他 程序 代码 中 存在 可 怕 的 缺陷 时 ， 他 是 
不 会 高 兴 的 。 
。 不 要 总 是 报告 坏 消息 。 假 如 发 现 某 段 代码 没有 软件 缺陷 ， 就 大 声 宣 扬 。 花 一 点 时 间 找 程 
序 员 聊 聊天 。 如 果 总 是 报告 坏 消息 ， 别 人 对 你 就 会 惟恐 避 之 不 及 。 


3.1.10 软件 测试 是 一 项 讲究 条 理 的 技术 专业 


以 前 ， 软 件 测 试 是 事后 考虑 的 。 那 时 ， 软 件 产品 很 小 ， 也 不 复杂 ; 使 用 计算 机 软件 的 人 
数 不 多 。 项 目 小 组 中 几乎 没有 程序 员 去 相互 交叉 调试 对 方 的 代码 。 软 件 缺 陷 还 不 是 很 大 的 问 
题 ， 即 使 出 现 了 ， 也 很 容易 修复 ， 花 不 了 多 少 代价 ， 且 不 会 带 来 多 大 的 破坏 。 即 便 有 软件 测 
试 员 ， 也 是 没 受过 什么 训练 的 ， 只 是 在 项 目 后 期 “ 乱 搞 代 码 看 能 发 现 什么 "。 但 是 现在 ， 时 代 
变 了 。 

在 软件 招聘 广告 上 可 以 找到 许多 招聘 测试 员 的 条 上 且 ， 软 件 行业 已 经 发 展 到 强制 使 用 专业 
软件 测试 员 的 程度 了 。 现 在 ， 生 产 低 劣 软件 的 代价 太 高 。 

公平 地 讲 ， 并 非 所 有 的 公司 都 使 用 专业 软件 测试 员 。 不 少 计算 机 游戏 和 短期 开发 项 目的 
公司 依然 采用 相当 松散 的 开发 模式 一 一 常常 是 大 爆炸 模式 或 边 写 边 改 模式 。 但 是 ， 大 多 数 软 
件 都 采用 井然 有 序 的 方式 开发 ， 把 软件 测试 员 当做 必 不 可 少 的 核心 小 组 成 员 。 
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这 对 于 软件 测试 的 爱好 者 无 疑 是 福音 。 现 在 软件 测试 成 为 一 个 职业 选择 一 -需要 训练 和 规 
范 ， 而且 有 发 展 空间 。 


3.2 软件 测试 的 术语 和 定义 


本 章 以 软件 测试 的 术语 和 定义 作为 本 书 第 一 部 分 的 结束 ， 这 些 术 语 描述 了 关于 软件 开发 
过 程 和 软件 测试 的 基本 概念 。 因 为 它们 常常 被 混淆 和 误 用 ， 所 以 在 此 一 并 解释 ， 从 而 有 助 于 
理解 其 真实 含义 和 区 别 。 注 意 ， 软 件 行业 中 关于 许多 看 起 来 似乎 相同 的 术语 很 少 取得 一 致 认 
识 。 软 件 测试 员 应 该 常常 滞 清 小 组 中 使 用 的 术语 的 含义 ， 最 好 是 在 术语 定义 上 取得 一 致 而 不 
是 在 “正确 性 ”上 争论 。 


3.2.1 精确 和 准确 


软件 测试 员 必须 要 知道 精确 (precision) 和 准确 (accuracy) 之 间 的 区 别 。 假 如 对 计算 器 
进行 测试 ， 你 会 测试 返回 结果 是 精确 的 还 是 准确 的 呢 ? 或 者 两 者 都 测试 ?如果 项 目 进度 迫使 
只 能 进行 二 选 一 的 抉择 呢 ? 

测试 的 软件 假如 是 棒球 或 模拟 飞行 之 类 的 模拟 游戏 程序 又 怎样 ?那么 主要 测试 精度 还 是 
准 度 ? 

图 3-4 用 图 示 方 法 描述 了 这 两 个 术语 。 飞 镖 游戏 的 目标 是 设法 投 中 革 盘 的 中 心 区 域 。 左 上 
角 靶 盘 上 的 飞镖 既 不 精确 也 不 准确 。 它 们 不 仅 远 离 半 心 ， 而 且 相 互 之 间 分 得 很 开 。 

右上 角 秀 盘 上 的 飞镖 精确 但 不 准确 。 它 们 紧 紧 地 育 在 一 起 ， 因 此 可 以 说 投掷 者 有 很 高 的 
稳定 性 ， 但 是 不 够 准确 ， 因 为 飞镖 全 部 脱 丢 。 

左下 角 稻 盘 上 的 飞镖 是 准确 但 不 精确 的 例子 ， 因 为 飞镖 非常 接近 丢 心 ， 因 此 可 以 说 投掷 
者 非常 接近 瞄准 的 目标 ， 但 飞镖 落 点 分 散 ， 谈 不 上 稳定 性 。 

右 下 角 靶 盘 上 的 飞镖 是 精确 和 准确 的 完美 结合 。 飞 镖 落 点 集中 而 且 命 中 目标 。 





准确 但 不 精确 准确 并 且 精 确 
图 3-4 靶 盘 上 的 飞镖 演示 了 精确 和 准确 之 间 的 区 别 
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软件 测试 要 精度 还 是 准 度 很 大 程度 上 取决 于 产品 是 什么 ， 最 终 取 决 于 开发 小 组 的 目标 
(请 想 直 言 )。 计 算 器 软件 需要 两 者 都 达到 一 一 正确 的 答案 就 是 正确 的 答案 ， 错 误 的 就 是 错误 
的 。 但 是 ， 可 能 会 决定 计算 只 精确 到 五 位 十 进 制 数 ， 那 么 ， 精 度 可 以 有 所 偏差 。 只 要 软件 测 
试 员 清楚 产品 说 明 书 ， 就 可 以 量 身 定做 测试 程序 来 确认 。 


3.2.2 确认 和 验证 


虽然 确认 (verification) 和 验证 (validation) 常常 互 换 使 用 ， 但 是 它们 有 不 同 的 定义 ， 
.其 中 的 区 别 对 软件 测试 很 重要 。 

确认 是 保证 软件 符合 产品 说 明 书 的 过 程 ; 验证 是 保证 软件 满足 用 户 要 求 的 过 程 。 尽 管 它们 
听 起 来 很 相似 ， 然 而 通过 对 哈 勃 (Hubble) 天 文 望远镜 问题 的 分 析 就 可 以 证 清 这 两 者 的 区 别 。 

1990 年 4 月 ， 哈 勃 天 文 望远镜 被 发 射 到 地 球 轨道 。 它 是 一 个 反射 望远镜 ， 主 要 利用 一 面 巨 
大 的 镜子 来 放大 观察 的 目标 。 建 造 这 面 镜子 是 一 项 精度 和 准 度 要 求 极其 严格 的 艰巨 任务 。 镜 
子 的 测试 极其 困难 ， 因 为 望远镜 设计 用 于 太空 ， 在 地 球 上 无 法 固定 甚至 爹 面 观 察 。 因 此 唯一 
的 测试 方法 是 仔细 度量 其 全 部 属性 ， 并 将 度量 结果 和 规定 数值 比较 。 进 行 上 述 测 试 之 后 ， 哈 
勃 天 文 望远镜 被 宣称 可 以 发 射 了 。 

不 幸 的 是 ， 哈 勃 太空 望 远 镜 投 入 使 用 运行 不 久 发 现 ， 它 传 回来 的 图 像 没 有 正确 聚焦 。 调 
查 发 现 镜子 制造 出 了 和 问题。 镜子 虽然 根据 产品 说 明 进 行 了 表面 处 理 ， 但 是 产品 说 明 是 错 的 。 
结果 虽然 镜子 精度 极 高 ， 但 准确 度 不 够 。 测 试 虽然 保证 镜子 符合 产品 说 明 一 一 确认 一 一 但 是 不 
能 保证 满足 最 初 的 需求 一 一 验证 。 

1993 年 ， 通 过 航天 飞机 来 修正 哈 勃 太空 望远镜 ， 安装 了 一 个 “校正 镜头 ” 装置 重新 校准 
由 制造 不 合格 的 镜子 生成 的 图 像 。 

虽然 这 不 是 软件 的 例子 ， 但 是 确认 和 验证 同样 适用 于 软件 测试 。 绝 对 不 能 假定 产品 说 明 书 
是 对 的 ， 如 果 确 认 产 品 说 明 书 并 对 最 终 产 品 进 行 验证 ， 就 有 望 避 免 类 似 哈 勃 太 空 望 远 的 问题 。 


3.2.3 质量 和 可 靠 性 


韦 氏 电 子 词 典 把 质量 (quality ) 定义 为 “优秀 程度 ”或 者 “同类 优越 性 ”"。 如 果 说 软件 产 
品质 量 高 ， 就 是 指 它 能 够 满足 客户 要 求 。 客 户 会 感到 该 产品 性 能 卓越 ， 优 于 其 他 产品 。 

软件 测试 员 常常 会 错误 地 以 为 质量 和 可 靠 性 是 一 回 事 。 他 们 认为 如 果 测 试 程序 一 直 稳定 、 
可 靠 ， 就 可 以 认定 这 是 高 质量 的 产品 。 遗 憾 的 是 ， 这 不 完全 正确 。 可 靠 性 仅仅 是 质量 的 一 个 
方面 。 

软件 使 用 者 心 且 中 的 质量 可 能 包括 ， 软件 功能 的 多 少 、 在 自己 的 旧 PC 上 运行 的 能 力 、 软 
件 公司 的 服务 电话 好 不 好 打 以 及 软件 的 价格 。 产 品 的 可 靠 性 或 者 产品 多 长 时 间 崩 省 的 问题 ， 
也 许 重 要 ， 但 常常 不 被 考虑 到 。 

为 了 确保 程序 质量 高 而 且 可 靠 性 强 ， 软 件 测试 员 必 须 在 整个 产品 开发 过 程 中 进行 确认 和 
验证 。 


3.2.4 测试 和 质量 保证 (QA) 


最 后 一 对 定义 是 测试 (testing) 和 质量 保证 (quality assurance，QA )。 这 两 个 术语 经 常 
用 于 描述 确认 和 验证 的 小 组 和 过 程 。 第 21 章 “软件 质量 保证 ”将 详细 讲述 质量 保证 。 现 在 请 
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看 以 下 定义 : 

。 软件 测试 员 的 目标 是 尽 可 能 旱地 找 出 软件 缺陷 ， 并 确保 缺陷 得 以 修复 。 

。 软件 质量 保证 人 员 的 主要 职责 是 创建 和 执行 改进 软件 开发 过 程 并 防止 软件 缺陷 发 生 的 标 

准 和 方法 。 

当然 ， 它 们 存在 一 些 交 叉 之 处 。 软件 测试 员 会 做 一 些 QA 工 作 ， QA 人 员 会 进行 一 些 测试 ， 
双方 的 工作 和 任务 是 交织 在 一 起 的 。 重 要 的 是 了 解 自己 的 工作 职责 ， 并 与 开发 小 组 的 其 他 成 员 
交流 。 小 组 成 员 如 果 搞 不 清楚 谁 在 做 测试 谁 不 做 测试 的 话 ， 将 会 在 许多 项 目 中 造成 不 少 麻烦 。 


3.3 小 结 


香肠 、 法 律 和 软件 一 一 它们 的 制造 过 程 都 很 繁杂 。 但 愿 前 三 章 没 有 吓 着 你 。 

许多 参与 项 目的 软件 测试 员 不 清楚 周围 发 生 的 事情 、 不 清楚 如 何 做 出 决定 ， 或 者 不 清楚 
应 该 遵照 什么 过 程 ， 这 样 是 不 可 能 有 太 多 成 效 的 。 截 止 到 目前 ， 学 习 了 软件 测试 和 软件 开发 
过 程 方面 的 知识 之 后 ， 在 开始 进行 测试 时 就 会 有 一 个 良好 的 开端 。 你 将 了 解 自己 充当 的 角色 ， 
至 少 知道 提出 哪些 问题 才能 找到 自己 的 位 置 。 

到 目前 为 止 ， 关 于 过 程 的 所 有 内 容 已 经 讲 完了 。 下 一 章 将 进入 新 的 部 分 ， 介 绍 软件 测试 
的 基本 技术 。 


3.4 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 

1. 假定 无 法 完全 测试 某 一 程序 ， 在 决定 是 否 应 该 停止 测试 时 要 考虑 哪些 问题 ? 

2. 启动 Windows 计 算 器 程序 ， 输 入 5 000-5= (逗号 不 能 少 )， 观察 结 果 。 这 是 软件 缺陷 
吗 ? 为 什么 ? 

3. 假如 测试 模拟 飞行 或 模拟 城市 之 类 的 模拟 游戏 ， 精 确 度 和 准确 度 哪 一 个 更 值得 测试 ? 

4. 有 没有 质量 很 高 但 可 靠 性 很 差 的 产品 ?请 举例 说 明 。 

5. 为 什么 不 可 能 完全 测试 程序 ? 

6. 假如 周一 测试 软件 的 某 一 功能 ， 每 小 时 发 现 一 个 新 的 软件 缺陷 ， 你 认为 周二 将 会 以 什 
么 样 的 频率 发 现 软件 缺陷 ? 








第 二 部 分 
测试 基础 


出 去 找 一 件 东 西 ， 并 且 就 只 找 这 样 东 西 。 


一 一 老 采矿 者 的 话 


在 科学 界 听 到 预示 重大 发 现 的 最 令 人 激动 的 话 ， 不 是 “找到 了 ! ”而 是 “这 有 点 意思 ……” 


一 一 Isaac Asimov 


科普 和 科幻 小 说 作家 


本 部 分 内 容 : 


第 4 章 检查 产品 说 明 书 
第 5 章 带 上 了 眼 单 测试 软件 
第 6 章 检查 代码 

第 7 章 带 上 X 光 眼镜 测试 软件 


第 4 章 
检查 产品 说 明 书 


»— /— 


本 章 将 开始 介绍 第 司 。 不 
也 不 是 猛 说 键 盘 看 软件 是 否 崩 涡 。 本 章 将 讲述 如 何 测试 产品 说 明 书 ,以 便 在 编写 软件 之 前 找 
出 缺陷 。 

测试 产品 说 明 书 不 是 所 有 软件 测试 员 都 有 机 会 去 做 的 。 软 件 测试 员 有 时 会 在 开发 过 程 的 中 
途 介入 项 目 ， 产 品 说 明 书 已 经 写 完 ， 并 且 已 经 开始 编写 代码 。 在 这 种 情形 下 ， 也 不 要 担心 一 一 仍 
然 可 以 利用 这 里 所 讲 的 技术 测试 已 经 完成 的 产品 说 明 书 。 

假如 有 幸 在 项 目 早期 介入 ， 并 有 权 修 改 初期 的 产品 说 明 书 ， 本 章 所 述 就 非常 适合 。 在 此 
阶段 找 出 软件 缺陷 极 有 可 能 为 项 目 节省 大 笔 开 销 和 时 间 。 

本 章 重点 包括 : 

。 什么 是 黑 盒 测试 和 和 白 盒 测试 

。 静态 测试 和 动态 测试 有 何 区 别 

。 审查 产品 说 明 书 有 哪些 高 级 技术 

。 在 详细 审查 产品 说 明 书 时 应 注意 哪些 特殊 的 问题 


4.1 开始 测试 


请 回顾 第 2 章 “ 软 件 开发 的 过 程 ”中 所 讲 的 4 种 开发 模式 : 大 爆炸 模式 、 边 写 边 改 模式 、 
瀑布 模式 和 螺旋 模式 。 除 了 大 爆炸 模式 之 外 ， 每 一 种 模式 中 开发 小 组 都 要 根据 需求 文档 
(requirements document) 编写 一 份 产品 说 明 书 ， 用 以 定义 软件 是 什么 样 的 。 

产品 说 明 书 通常 是 利用 文字 和 图 形 描述 产品 的 书面 文档 。Windows 计 算 器 程序 ( 见 图 4-1) 
的 产品 说 明 书 摘录 如 下 : 

Edit 菜 单 有 两 个 命令 选项 : Copy 和 Paste。 其 选择 方式 有 三 种 : 指向 并 单 击 菜单 ;使 用 菜 
单 命令 访问 键 (Alt+E， 然 后 Copy 按 C， 
Paste 按 P); 或 者 使 用 标准 的 Windows 快 捷 键 ， 
Copy 按 Ctrl+C，Paste 按 Ctrl+V 。 

Copy 功 能 将 数字 输入 框 中 显示 的 内 容 复 
制 到 Windows 剪 贴 板 中 。Paste 功 能 将 剪贴 板 
中 存储 的 数值 粘贴 到 数字 输入 框 中 。 

可 以 看 到 ， 该 产品 说 明 书 中 只 用 了 几 句 
话 描述 简单 的 计算 器 程序 中 两 个 菜单 命令 选 ” 图 4-1 显示 Baic 下 拉 某 单 的 标准 Windows 计 算 吕 各 














yA/ 





编辑 菜单 
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项 的 操作 。 而 整个 应 用 程序 完整 详细 的 产品 说 明 书 可 能 有 几 百 页 。 

对 于 这 样 的 小 软件 要 求 编写 细致 的 文档 似乎 有 点 过 分 。 为 什么 不 干脆 让 程序 员 按 自己 的 
想法 编程 序 呢 ? 问题 是 这 样 做 不 知道 最 终 会 得 到 什么 样 的 产品 。 程 序 员 对 于 产品 外 观 、 功 能 
和 使 用 方式 的 见解 可 能 与 测试 员 想 的 完全 不 一 样 。 确 保 最 终 产 品 符合 客户 要 求 以 及 正确 计划 
测试 投入 的 唯一 方法 是 在 产品 说 明 书 中 完整 描述 产品 。 

编写 详细 产品 说 明 书 的 另 一 个 好 处 是 软件 测试 员 可 以 将 其 作为 测试 项 目的 书面 材料 (这 
也 是 本 章 的 出 发 点 )， 据 此 可 以 在 编写 代码 之 前 找 出 软件 缺陷 。 


4.1.1 黑 盒 测试 和 白 合 测试 


软件 测试 员 用 于 描述 测试 方式 的 两 个 术语 是 黑金 测试 (black-box testing) 和 白金 测试 
(white-box testing)。 图 4-2 说 明了 这 两 种 方式 的 差别 。 在 黑 盒 测试 中 ， 软 件 测 试 员 只 需 知 道 软 
件 要 做 什么 一 一 而 无 法 看 到 盒子 里 的 软件 是 如 何 运行 的 。 只 要 进行 一 些 输入 ， 就 能 得 到 某 种 
输出 结果 。 他 不 知道 软件 如 何 运 行 、 为 什么 会 这 样 ， 只 知道 程序 做 了 什么 。 

技巧 。” 黑 盒 测试 有 时 又 称 功 能 性 测试 (functional testing ) 或 行为 测试 (behavioral 


testing )。 不 要 在 术语 上 纠缠 ， 因 为 不 同 的 小 组 可 能 使 用 不 同 的 术语 。 理 解 其 含义 以 及 
在 小 组 中 的 应 用 是 软件 测试 员 的 职责 。 





输出 
黑 盒 测试 白 盒 测 试 
图 4-2 在 黑 盒 测 试 中 ， 软 件 测试 员 不 清楚 软件 具体 如 何 运行 


再 看 看 如 图 4-1 所 示 的 Windows 计 算 器 程序 ， 如 果 输 入 3.14159 并 按 sqrt 键 ， 就 会 得 到 结果 
1.772453102341。 使 用 黑 盒 测 试 方法 时 ， 并 不 需要 关心 软件 算 圆周 率 的 平方 根 要 经 历 多 少 复 
杂 的 运算 ， 只 关心 它 的 运行 结果 。 软 件 测 试 员 可 以 通过 其 他 “经 过 认证 合格 ”的 计算 器 来 检 
验 结果 ， 判 定 Windows 计 算 器 程序 是 否 运算 正确 。 

在 白 盒 测试 (有 时 称 为 透明 人 金 测 试 (clear-box testing)) 中 ， 软 件 测试 员 可 以 访问 程序 员 
的 代码 ， 并 通过 检查 代码 的 线索 来 协助 测试 一 可 以 看 到 盒子 里 面 。 测 试 员 根据 代码 检查 结 
果 判 断 或 多 或 少 可 能 出 错 的 数目 ， 并 据 此 定制 测试 。 

注意 进行 白金 测试 要 冒 一 些 风险 。 因 为 要 以 适应 代码 操作 来 定制 测试 ， 所 以 很 容易 

形成 偏见 而 无 法 进行 客观 测试 。 
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4.1.2 静态 测试 和 动态 测试 


描述 软件 测试 的 另外 两 个 术语 是 静态 测试 (static testing ) 和 动态 测试 (dynamic testing ) 。 
静态 测试 是 指 测试 不 运行 的 部 分 一 一 只 是 检查 和 审核 ; 动态 测试 是 指 通 常 意义 上 的 测试 一 一 使 
”用 和 运行 软件 。 | . 
对 这 些 术 语 最 好 的 一 个 类 比 是 检查 二 手 汽车 的 过 程 。 踢 一 下 轮胎 、 看 看 车 污 、 打 开 引 警 
盖 检 查 都 属于 静态 测试 技术 。 发 动 汽车 、 听 听 发 动机 声音 、 上 路 行驶 都 属于 动态 测试 技术 。 


4.1.3 静态 黑 会 测试 测试 产品 说 明 书 


测试 产品 说 明 书 属于 静态 黑 盒 测 试 。 产 品 说 明 书 是 书面 文档 ， 而 不 是 可 执行 程序 ， 因 此 
是 静态 的 。 它 是 利用 各 种 资源 而 获得 的 数据 一 一 诸如 易 用 性 研究 、 焦 点 人 群 、 销 售 收入 等 建 
立 的 。 不 必 了 解 怎样 和 为 什么 要 获取 这 些 信息 ， 以 及 获取 的 具体 途径 ， 只 需 知 道 它们 最 终 构 
成 产品 说 明 书 就 可 以 了 。 软 件 测试 员 可 以 利用 书面 文档 进行 静态 黑 盒 测试 ， 认 真 查找 其 中 的 
缺陷 。 

前 面 我 们 看 了 Windows 计 算 器 程序 产品 说 明 书 的 例子 ， 该 例子 利用 标准 书面 文档 格式 和 
一 幅 图 片 描述 软件 的 操作 。 尽 管 这 是 编写 产品 说 明 书 最 常用 的 方法 ， 但 还 有 许多 变化 的 形式 。 
和 文字 相 比 开发 小 组 可 能 会 更 强调 图 ， 或 者 Ada 之 类 的 自动 生成 文档 的 计算 机 语言 。 无 论 采 用 
何 种 形式 ， 都 要 用 到 本 章 介绍 的 所 有 技术 。 虽 然 必 须根 据 特定 的 格式 要 求 对 其 进行 定制 ， 但 
是 核心 思想 是 不 变 的 。 

如 果 项 目 没 有 产品 说 明 书 怎么 办 ? 这 表明 开发 小 组 采用 了 大 爆炸 模式 或 者 松散 的 边 写 边 
改 模式 。 对 于 测试 者 而 言 ， 这 是 一 种 困难 的 情况 。 软 件 测试 员 的 任务 是 尽早 找 出 缺陷 一 一 最 
理想 的 是 在 软件 代码 编写 之 前 一 一 但 是 如 果 产 品 没 有 说 明 书 ， 这 显然 是 不 可 能 的 。 尽 管 产品 
说 明 书 没有 写 ， 然 而 总 会 有 人 知道 产品 是 什么 样 的 。 这 个 人 可 能 是 开发 人 员 、 项 目 经 理 或 销 
售 人 员 。 走 路 、 谈 话 和 产品 说 明 书 一 样 都 使 用 同样 的 技术 来 评估 “大 脑 中 和 的” 说明书， 就 好 
像 它们 写 在 纸 上 一 样 。 记 下 收集 到 的 信息 并 反复 项 酌 就 可 以 得 到 更 详细 的 资料 。 对 开发 小 组 
说 : “这 是 我 准备 测试 和 提交 缺陷 的 内 容 。” 他 们 很 快 就 会 补充 不 少 细节 。 

技巧 ”无 论 产品 说 明 书 的 格式 如 何 ， 都 可 以 利用 静态 黑金 技术 测试 。 产 品 说 明 书 是 书 

面 文字 文档 或 图 形 文 档 ， 或 者 两 者 兼 而 有 之 。 通过 询问 软件 的 设计 者 和 编制 者 甚至 可 

以 测试 没有 写 出 来 的 产品 说 明 书 。 


4.2 对 产品 说 明 书 进行 高 级 审查 


定义 软件 产品 是 一 个 困难 的 过 程 。 产 品 说 明 书 必 须 处 理 许多 不 可 预料 的 情况 ， 接 受众 多 
变化 的 输入 ， 并 设法 把 这 些 汇 集 在 一 个 描述 新 产品 文档 中 。 该 过 程 是 一 门 模糊 学 科 ， 难 免 不 
出 问题 。 

测试 产品 说 明 书 的 第 一 步 不 是 马上 钻 进去 找 缺 陷 ， 而 是 站 在 一 个 高 度 上 进行 审查 。 审 查 

唱 说 明 书 是 为 了 找 出 根本 性 的 问题 、 芯 忽 或 遗漏 之 处 。 也 许 这 更 像 是 研究 而 不 是 测试 ， 但 
是 研究 的 根本 是 为 了 更 好 地 了 解 软件 该 做 什么 。 如 果 能 够 很 好 地 理解 产品 说 明 书 后 的 诸多 为 
什么 和 怎么 做 ， 就 可 以 更 好 地 进行 细节 检查 。 








38 第 二 部分 测 研 基础 


4.2.1 假设 自己 是 客户 


当 软 件 测试 员 第 一 次 接 到 需要 审查 的 产品 说 明 书 时 ， 最 容易 做 的 事 是 把 自己 当做 客户 。 
研究 一 下 客户 会 是 什么 人 ; 和 市 场 人 员 或 销售 人 员 聊 -- 下 ， 了 解 他 们 对 最 终 用 户 的 认识 ; 如 
果 产 品 是 一 个 内 部 使 用 的 软件 项 目 ， 找 到 使 用 它 的 人 谈 一 谈 。 

了 解 客户 所 想 是 很 重要 的 。 请 记 住 ， 质 重 的 定义 是 “满足 客户 要 求 "， 软 件 测试 员 必须 了 
解 并 测试 软件 是 否 符合 那些 要 求 。 做 好 这 一 点 并 不 是 说 要 测试 发 电厂 的 软件 就 必须 成 为 原子 
核 物理 学 家 ， 要 测试 飞行 模拟 软件 就 必须 成 为 专业 飞行 员 。 不 过 ,熟悉 软件 应 用 领域 的 相关 
知识 有 很 大 的 帮助 。 

另 一 方面 ， 假 设 什么 知识 也 没有 。 如 果 审查 产品 说 明 书 的 某 一 部 分 时 不 理解 ， 不 要 假定 
它 是 对 的 而 把 它 放 掉 。 最 终 还 得 利用 这 个 产品 说 明 书 来 设计 软件 测试 ， 因 此 ， 仍 免不了 要 去 
了 解 它 。 最 好 现在 就 搞 懂 。 如 果 如 愿 以 偿 地 发 现 了 缺陷 (你 会 的 )， 则 更 好 。 


技巧 在 假设 自己 是 客户 时 不 要 忘记 了 软件 的 安全 性 。 客 户 也 许 会 假设 软件 是 安全 的 ， 
但 软件 测试 员 不 能 假定 程序 员 会 正确 处 理 安 全 问题 。 这 方面 必须 详细 说 明 。 第 13 章 
“软件 安全 性 测试 ”， 将 讨论 审查 产品 说 明 书 和 设计 的 安全 性 问题 时 如 何 做 。 


4.2.2 研究 现 有 的 标准 和 规范 


在 Microsoft Windows 和 Apple Macintosh 出 现 之 前 ， 几乎 每 一 款 软 件 产品 都 有 不 同 的 用 
户 界面 。 完 成 同样 的 任务 有 不 同 的 颜色 方案 、 不 同 的 菜单 结构 、 各 种 各 样 打开 文件 的 方式 以 
及 无 数 含义 模糊 的 命令 。 从 一 个 软件 产品 转向 另 一 软件 产品 需要 重头 学 习 。 
. 幸亏 硬件 和 软件 都 被 标准 化 了 ， 而 且 还 对 用 户 使 用 计算 机 的 方式 进行 了 广泛 的 研究 。 结 

果 ， 现 在 的 产品 看 起 来 外 观 很 相似 且 感 觉 起 来 符合 人 类 工程 学 的 设计 。 现 行 标准 和 规范 也 许 
还 不 尽 如 入 意 ， 可 能 还 有 更 好 的 方式 ， 但 是 因为 这 些 共性 已 经 使 效率 得 到 了 巨大 的 提高 。 

第 11 章 “ 易 用 性 测试 ”将 详细 讨论 这 个 话题 ， 但 是 目前 要 考虑 的 是 在 产品 中 应 该 应 用 何 
种 标准 和 规范 。 


注意 标准 和 规范 的 差别 在 于 程度 不 同 ， 标 准 比 规范 更 加 严格 。 如 果 小 组 认为 很 重要 ， 
则 标准 应 严格 遵守 ; 规范 是 可 选 的 ， 但 应 该 遵守 。 小 组 将 标准 作为 规范 也 不 军 见 ， 前 
提 是 只 要 每 个 人 都 清楚 就 行 。 


下 面 是 可 以 考虑 作为 标准 和 规范 的 一 些 例 子 。 但 这 并 不 是 明确 规定 ， 对 具体 软件 是 否 适 
用 需 经 研究 : 

。 公司 惯用 语 和 和 约定。 如果 软件 是 为 某 公 司 定制 的 ， 就 应 访 采 用 该 公司 职员 常用 的 术语 和 
约定 。 

。 行业 要 求 。 医 药 、 工业 和 金融 行业 的 应 用 软件 有 其 必须 严格 遵守 的 标准 。 

。 政府 标准 。 政 府 一 一 特别 是 军队 系统 有 严格 的 标准 。 

。 图形 用 户 界面 (GUI) 。 如 果 软 件 运行 在 Microsoft Windows 或 Apple Macintosh 操 作 系 统 
下 ， 关 于 软件 外 观 和 用 户 的 感受 具有 公开 的 标准 。: 

。 安全 标准 。 软件 及 其 界面 和 协议 可 能 需要 满足 一 定 的 安全 标准 或 级 别 。 也 许 还 需要 进行 
独立 的 认证 ， 以 确保 其 满足 必要 的 标准 。 
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软件 测试 员 的 任务 不 是 定义 软件 要 符合 何 种 标准 和 规范 ， 这 是 项 目 经 理 或 者 编写 产品 说 
明 书 的 人 的 任务 。 软 件 测 试 员 要 做 的 是 观察 , “检查 ”采用 的 标准 是 否 正确 、 有 无 遗漏 。 在 对 
软件 进行 确认 和 验收 时 ， 还 要 注意 是 否 与 标准 和 规范 相抵 触 ， 把 标准 和 规范 视 为 产品 说 明 书 
的 一 部 分 。 


4.2.3 审查 和 测试 类 似 软件 


了 解 软件 最 终结 果 的 最 佳 方法 是 研究 类 似 软 件 ， 例 如 竞争 对 手 的 产品 或 者 小 组 开发 的 类 
似 产 品 。 项 目 经 理 或 者 产品 说 明 书 编写 人 可 能 已 经 做 了 这 项 工作 ， 因 此 很 容易 得 到 他 们 在 研 
究 时 使 用 的 产品 。 软 件 通常 不 会 完全 一 样 (这 也 是 创建 新 软件 的 原因 ， 对 吗 ? ) ， 但 是 类 似 软 
件 有 助 于 设计 测试 条 件 和 测试 方法 ， 还 可 能 暴露 意 想不到 的 潜在 的 问题 。 

在 审查 竞争 产品 时 要 注意 的 问题 包括 : 

。 规模 。 软 件 的 功能 强大 还 是 单一 ?代码 多 还 是 少 ? 这些 差别 与 测试 有 关 吗 ? 

。 复 杂 性 。 软 件 简单 还 是 复杂 ? 这 会 影响 测试 吗 ? 

。 测试 性 。 是 否 有 足够 的 资源 、 时 间 和 经 验 来 测试 软件 ? 

。 质量 和 可 靠 性 。 软 件 是 否 完全 满足 质量 要 求 ? 可 靠 性 高 还 是 低 ? 

。 安全 性 。 竞 争 对 手软 件 的 安全 性 (不 管 是 宣称 还 是 实际 的 ) 和 自身 的 比较 起 来 如 何 ? 

动手 实践 是 无 可 替代 的 ， 因 此 拿 到 类 似 软件 就 要 尽量 试 ， 使 用 它 、 疯 狂 试验 、 追 根 问 底 ， 
这 些 都 是 为 仔细 审查 产品 说 明 书 积累 大 量 的 经 验 。 


技巧 ” 记 住 要 阅读 关于 竞争 对 手软 件 的 评价 方面 的 联机 或 印刷 的 文章 。 这 对 安全 方面 
的 问题 特别 有 帮助 ， 因 为 软件 测试 员 偶然 使 用 软件 不 一 定 能 发 现 安全 方面 的 缺陷 。 然 
而 在 出 版 物 中 ， 这 些 问 题 会 特别 引起 关注 。 


4.3 产品 说 明 书 的 低层 次 次 测试 技术 


完成 产品 说 明 书 的 高 级 审查 之 后 ， 就 可 以 很 好 地 了 解 产品 以 及 影响 其 设计 的 外 部 因素 。 
有 了 这 些 信息 ， 就 可 以 在 更 低 的 层次 测试 产品 说 明 书 了 。 本 章 以 下 内 容 将 详细 讲述 底层 测试 
技术 。。 


4.3.1 产品 说 明 书 属性 检查 清单 


经 过 深思 熟 虞 ， 可 称 为 “一 字 不 漏 ” 的 优秀 产品 说 明 书 应 具有 8 个 重要 的 属性 : 

。 完整 。 是 否 有 遗漏 和 丢失 ? 完全 吗 ? 单独 使 用 时 是 否 包含 所 有 内 容 ? 

。 准确 。 既 定 解决 方案 正确 吗 ? 目标 定义 明确 吗 ? 有 没有 错误 ? 

。 精确 、 不 含糊 、 清 晰 。 描 述 是 否 一 清二 楚 ? 是 否 有 单独 的 解释 ? 容易 看 懂 和 理解 吗 ? 
。 一 致 。 产 品 功能 描述 是 否 自 相 了 矛盾， 或 与 其 他 功能 有 无 冲突 ? 

。 贴切 。 描 述 功能 的 陈述 是 否 必要 ? 有 没有 多 余 信 息 ? 功能 是 否 符合 原来 的 客户 要 求 ? 
。 合理 。 在 规定 的 预算 和 进度 下 ， 以 现 有 人 力 、 工 具 和 资源 能 否 实现 ? 


© 检查 清单 摘自 D. PFreedman and G.M. Weinberg 出 版 的 《Handbook of Walkthroughs, Inspections, and Technical 
Reviews》，1990 年 第 3 版 一 书 第 294~295 页 和 第 303~308 页 。 
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。 代码 无 关 。 产 品 说 明 书 是 否 坚 持 定 义 产品 ， 而 不 是 定义 其 软件 设计 、 架 构 和 代码 ? 

。 可 测试 性 。 功 能 能 否 测 试 ? 给 测试 员 提供 的 建立 验证 操作 的 信息 是 否 足 够 ? 

在 测试 产品 说 明 书 、 阅 读 文字 、 检 查 图 表 时 ， 要 仔细 对 照 上 述 清 单 ， 看 看 它们 是 否 具有 
这 些 属 性 。 如 果 不 具 备 ， 那 就 是 发 现 了 需要 指出 的 缺陷 。 


4.3.2 产品 说 明 书 术语 检查 清单 


在 审查 产品 说 明 书 时 ， 作 为 前 一 个 清单 的 补充 ， 还 有 一 个 问题 用 语 检查 清单 。 问 题 用 语 
通常 表明 功能 没有 仔细 考虑 一 一 可 能 归结 于 前 文 所 述 的 某 一 属性 。 从 产品 说 明 书 中 找 出 这 样 
的 用 语 ， 仔 细 审 查 它们 在 上 下 文中 是 怎样 使 用 的 。 产 品 说 明 书 后 面 可 能 会 阅 明 或 掩饰 ， 也 可 
能 含糊 其 辞 一 -无 论 是 哪 一 种 情况 ， 都 可 视 为 软件 缺陷 。 

。 总 是 、 每 一 种 、 所 有 、 没 有 、 从 不 。 如 果 看 到 此 类 绝对 或 肯定 的 描述 ， 需 要 确认 是 这 样 

的 。 软 件 测试 员 要 考虑 违反 这 些 情况 的 用 例 。 

当然、 因此、 明显、 显然 、 必 然 。 这 些 话 意图 说 服 你 接受 假定 情况 ， 不 要 中 了 圈套 。 

。 某 些 、 有 时 、 常 常 、 通 常 、 惯 常 、 经 常 、 大多、 几乎 。 这 些 话 太 过 模糊 。“ 有 时 ”发 生 

-作用 的 功能 无 法 测试 。 

。 等 等 、 诸 如 此 类 、 依 此 类 推 、 例如。 以 这 样 的 词 结束 的 功能 清单 无 法 测试 。 功 能 清单 要 

绝对 或 者 解释 明确 ， 以 免 让 人 对 功能 清单 内 容 产生 迷惑 。 

。 和 良好、 迅速、 廉价、 高效、 小 、 稳 定 。 这 些 是 无 法 量化 的 术语 ， 它 们 无 法 测试 。 如 果 说 

明 书 中 出 现 这 些 用 语 ， 必 须 进一步 准确 定义 其 含义 。 

。 处理， 进行 ， 拒 绝 ， 跳 过 ， 排 除 。 这 些 用 语 可 能 会 隐藏 大 量 需 要 说 明 的 功能 。 

。 如 果 …… 那 么 … (没有 理 则 ) 。 找 出 有 “如 果 …… 那 么 ……” 而 缺少 配套 的 “否则 ” 

结构 的 陈述 。 想 一 想 “ 如 果 ” 没 有 发 生 会 怎样 。 


4.4 小 结 


读 完 本 章 ， 读 者 可 能 会 认为 测试 产品 说 明 书 是 一 个 相当 主观 的 过 程 。 高 级 审查 技术 可 以 
查 出 遗漏 和 丢失 之 处 ， 低 层次 测试 技术 确保 所 有 细节 都 被 定义 。 但 是 这 些 技术 不 是 真正 的 按 
步 操作 过 程 ， 原 因 有 二 : 

。 本 书 是 旨 在 引领 读者 快速 步 人 测试 领域 的 入 门 书 ， 本 章 的 内 容 正 是 围绕 这 一 中 心 展开 

的 。 依 据 本 章 所 学 ， 测 试 任何 产品 说 明 书 都 会 卓有成效 。 

。 产品 说 明 书 的 格式 千变万化 。 无 论 是 从 他 人 想象 、 高 级 图 表示 意 还 是 口头 表达 中 提取 的 

产品 说 明 书 ， 都 可 以 应 用 本 章 所 讲 的 技术 找 出 软件 缺陷 。 | 

如 果 读 者 有 兴趣 了 解 更 高 级 的 审查 产品 说 明 书 的 技术 ， 那 么 研究 一 下 Michael Fagan 的 工 
作 。Fagan 先 生 在 IBM 公 司 工作 时， 率先 采用 一 种 称 为 软件 检测 (software inspections) 的 系 
统 方法 。 许 许多 多 公司 ， 尤 其 是 生产 关键 任务 软件 的 公司 用 它 正式 审查 软件 说 明 书 和 代码 。 
详情 参见 他 的 个 人 网 站 : www.mfagan.com。 


4.5 小 测验 


以 下 是 帮助 读者 加 深 理 解 的 小 测验 。 答 案 参见 附录 A- 一 但 是 不 要 偷 看 
1. 软件 测试 员 可 以 根据 产品 说 明 书 进行 白 盒 测 试 吗 ? 
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2. 试 举 一 些 Mac 或 Windows 标 准 规范 的 例子 。 

3. 指出 下 述 产品 说 明 中 的 错误 : 当 用 户 选择 Compact Memory 选项 时 ， 程 序 将 使 用 Huffman 
解析 和 矩阵 方法 尽 可 能 压缩 邮件 列表 数据 。 

4. 解释 软件 测试 员 应 该 担心 下 述 产品 说 明 的 哪些 内 容 : 尽管 通常 连接 不 超过 一 百 万 个 ， 
但 是 该 软件 允许 多 达 一 亿 个 并 发 的 连接 。 
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好 ， 精 彩 的 来 了 。 本 章 讲述 大 多 数 人 想像 的 软件 测试 。 现 在 放下 二 郎 腿 ， 在 计算 机 前 面 
坐 好 ， 开 始 寻找 缺陷 。 

这 对 于 软件 测试 新 手 可 能 是 分 配 的 第 一 项 任务 。 如 果 应 聘 软 件 测试 职位 ， 主 考 人 一 定 会 
问 如 何 测 试 新 软件 程序 或 者 程序 新 功能 。 

马上 进入 状态 ， 猛 蔽 键盘 去 找 破 综 是 非常 轻松 的 事 。 这 种 方法 可 能 会 顶 用 一 小 会 儿 。 如 
果 软 件 处 于 开发 阶段 ， 很 容易 幸运 地 迅速 找 出 一 些 软件 缺陷 。 遗 憾 的 是 ， 这 样 轻松 的 成 功 很 
快 就 无 法 再 现 了 ， 要 成 为 一 个 成 功 的 软件 测试 员 ， 需 要 采用 更 结构 化 的 、 上 自 标 明确 的 方法 继 

续 测 试 。 
本 章 描 述 最 常用 、 最 有 效 的 软件 测试 技术 。 无 论 测试 何 种 类 型 的 程序 
包 、 工 业 自动 化 程序 还 是 市 面 上 流行 的 射击 游戏 ， 这 些 技术 都 适用 。 

使 用 这 些 技术 不 必 成 为 程序 员 。 尽 管 这 些 技 术 都 基于 编程 基本 原理 ， 但 是 不 要 求 编写 代 
码 。 有 一 些 技术 需要 一 点 背景 知识 来 解释 该 技术 为 什么 有 效 ， 但 是 本 章 所 有 代码 实例 都 很 短 
小 ， 且 用 宏 语言 来 编写 ， 使 演示 容易 理解 。 假 如 读者 已 经 涉足 编程 ， 想 学 习 更 多 低层 测试 技 
术 ， 那 么 在 读 完 本 章 之 后 可 以 转 到 第 6 章 “ 检 查 代码 ”和 第 7 章 “ 带 上 X 光 眼镜 测试 软件 ”学 习 
白 盒 测 试 。 

本 章 重 点 包括 : 

。 动态 黑 盒 测试 是 什么 

。 如 何 通过 等 价 类 划分 减少 测试 用 例 的 数量 

。 如 何 判别 故障 边界 条 件 

。 使 用 良好 数据 引入 缺陷 

。 如 何 测试 软件 状态 和 状态 转换 

。 如 何 使 用 重复 、 压 迫 和 重负 的 方法 找 出 缺陷 

。 缺陷 的 一 些 秘密 隐藏 之 处 


5.1 动态 黑 愈 测试 带 上 了 眼 章 测 试 软件 
不 深入 代码 细节 测试 软件 的 方法 称 为 动态 黑金 测 试 。 它 是 动态 (dynamic) 的 ， 因 为 程序 
在 运行 一 -软件 测试 员 像 用 户 一 样 使 用 它 ; 同 时 ， 它 是 黑金 子 (black-box )， 因 为 测试 时 不 知 


道 程序 如 何 工作 一 一 带 上 了 了 眼 思 。 测 试 员 输 入 数据 、 接 受 输出 、 检 验 结果 。 动 态 黑 盒 测 试 党 
常 被 称 为 行为 测试 ， 因 为 测试 的 是 软件 在 使 用 过 程 中 的 实际 行为 。 
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有 效 的 动态 测试 需要 关于 软件 行为 的 一 些 定 义 一 一 也 即 需求 文档 或 者 产品 说 明 书 。 不 必 了 
解 软 件 “ 盒 子 ”内 发 生 的 事情 一 一 而 只 和 需 知道 输 入 A 输出 B 或 执行 操作 C 得 到 结果 D。 好 的 产品 
说 明 书 会 提供 这 些 细节 信息 。 

清楚 了 被 测试 软件 的 输入 和 输出 之 后 ， 接 下 来 要 开始 定义 测试 用 例 〈test case)。 测 试用 
例 是 指 进行 测试 时 使 用 的 特定 输入 ， 以 及 测试 软件 的 过 程 步 骤 。 图 5-1 给 出 了 用 于 Windows 计 
算 器 加 法 功能 的 一 些 用 例 。 


Windows 计 算 器 加 法 测试 用 例 


+8 
+1 
254*1 
255+1 
256+1 


1922+1 户 
1623+1 应 
1624+1 局 





图 5-1 测试 用 例 给 出 了 各 种 输入 以 及 测试 程序 的 步 驴 


注意 ”选择 测试 用 例 是 软件 测试 员 最 重要 的 一 项 任务 。 不 正确 的 选择 可 能 导致 测试 量 
过 大 或 者 过 小 ， 其 至 测试 目标 不 对 。 准 确 评估 风险 ， 把 无 穷尽 的 可 能 性 减少 到 可 以 控 
制 的 范围 是 成 功 的 雇 疹 。 


本 章 后 面 和 本 书 余下 的 大 部 分 将 讲述 选择 合适 测试 用 例 的 策略 。 第 18 章 “编写 和 跟踪 测 
试用 例 ” 探 讨 编写 和 管理 测试 用 例 的 技术 。 


在 没有 产品 说 明 书 时 使 用 探索 测试 

专业 的 、 成 束 的 软件 开发 过 程 部 会 有 软件 的 详细 说 明 。 如 果 采 用 大 爆炸 模式 或 者 
边 写 边 改 模 式 ， 作 为 测试 依据 的 产品 说 明 书 可 能 没有 。 尽 管 这 对 于 软件 测试 员 不 是 理 
想 的 状况 ， 但 是 此 时 可 以 采取 称 为 探索 测试 的 解决 方案 一 一 了 解 软 件 、 设 计 测 试 、 执 
行 测试 同时 进行 。 | 

这 就 需要 把 软件 当做 产品 说 明 书 来 对 待 。 系 统 地 逐 项 了 解 软件 的 功能 、 记 录 软 件 
的 执行 情况 、 详 细 描 述 功 能 ， 运 用 第 4 章 “ 检 查 产 品 说 明 蔬 ”中 所 讲 的 静态 黑金 技术 ， 
把 软件 当成 说 明 书 来 分 析 ， 然 后 运用 本 章 所 讲 的 动态 黑 盒 技术 进行 测试 。 

在 这 种 情况 下 ， 无 法 像 有 产品 说 明 书 那样 完整 测试 软件 一 一 比如 无 法 断定 是 否 遗 
汤 功 能 ， 但 是 可 以 系统 地 测试 软件 ， 找 到 软件 缺陷 几乎 是 肯定 的 。 


5.2 通过 性 测试 和 失效 性 测试 


测试 软件 有 两 种 基本 方法 : 通过 性 测试 (test-to-pass) 和 失效 性 测试 (test-to-fail)。 在 进 
行 通 过 性 测试 时 ， 实 际 上 是 确认 软件 至 少 能 做 什么 ， 而 不 会 考验 其 能 力 。 软 件 测 试 员 并 不 需 
要 想 尽 办 法 让 软件 崩溃 ， 仅 仅 运 用 最 简单 、 最 直观 的 测试 用 例 。 

既然 软件 测试 的 目标 是 找 出 软件 缺陷 ， 为 什么 还 要 进行 通过 性 测试 呢 ? 为 什么 不 尽量 去 
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设法 找 出 软件 缺陷 呢 ? 不 ， 开 始 不 是 这 样 的 。 


进 。 


设想 一 种 类 似 的 情况 ， 即 一 辆 新 设计 的 汽车 〈 见 图 5-2)、 如 果 受 命 测试 刚 下 生产 线 、 从 
没 开 过 的 一 辆 样 车 ， 测 试 者 可 能 不 会 立即 坐 上 去 、 发 动 汽车 、 驶 入 检测 道路 、 尽 全 力 高 速 行 
这 样 可 能 会 撞车 ， 发 生生 命 危险 。 作 为 新 车 ， 在 正常 驾驶 条 件 下 低速 行驶 时 可 能 会 暴露 
所 有 的 缺陷 。 也 许 轮胎 尺寸 不 对 ， 或 者 制 动 力 不 足 ， 或 者 发 动机 噪声 过 大 。 在 上 路 冲击 极限 


速度 之 前 是 可 以 发 现 并 解决 这 些 问 题 的 。 


了 。 
将 会 





通过 性 测试 失效 性 测试 
图 5-2 在 失效 性 测试 之 前 利用 通过 性 测试 找 出 缺陷 


注意 ”在 设计 和 执行 测试 用 例 时 ， 总 是 首先 进行 通过 性 测试 。 在 破坏 性 测试 之 前 看 看 
软件 基本 功能 是 否 能 实现 是 很 重要 的 ， 软 件 测试 员 可 能 会 吃惊 地 发 现 仅仅 正常 使 用 软 
件 就 会 发 现 那么 多 软件 缺陷 。 


确信 软件 在 普通 情况 下 能 正确 运行 之 后 ， 就 可 以 采取 各 种 手段 搞 垮 软件 来 找 出 软件 缺陷 
纯粹 为 了 破坏 软件 而 设计 和 执行 的 测试 用 例 称 为 失效 性 测试 或 错误 强制 测试 。 本 章 后 面 
讲 到 失效 性 测试 通常 不 会 突然 出 现 。 虽 然 看 起 来 与 通过 性 测试 差不多 ,但 是 它 是 蓄意 攻 


击 软件 的 薄弱 环 市 。 


5.3 


错误 提示 信息 : 是 通过 性 测试 还 是 失效 性 测试 

测试 用 例 中 常见 的 一 种 就 是 设法 连 使 软件 出 现 错 误 提 示 信 息 。 大 家 热 知 其 中 的 一 
些 _ 例如 没有 在 软驱 中 插入 磁盘 而 向 软盘 中 保存 文件 。 这 些 用 例 实际 上 找 乱 了 通过 
性 测试 和 失效 性 测试 之 间 的 界限 。 产 品 说 明 书 可 能 会 特别 说 明 菜 些 输入 条 件 将 产生 错 
误 提示 信息 。 这 似乎 显然 是 通过 性 测试 用 例 ， 但 是 由 于 人 迫使 软件 出 错 ， 因 此 也 可 视 为 
失效 性 测试 。 实 际 上 ， 可 能 两 者 者 是 。 

不 必 殴 力 去 区 分 它们 。 重 要 的 是 设法 迫使 指定 的 错误 信息 出 现 ， 或 者 设计 测试 用 
例 过 使 未 考虑 到 的 错误 暴露 出 来 。 最 终 可 能 在 通过 性 测试 和 失效 性 测试 中 都 找 出 软件 
缺陷 。 


等 价 类 划分 


选择 测试 用 例 是 软件 测试 员 最 重要 的 任务 。 选 择 测 试用 例 的 方法 是 等 价 类 划分 
(equivalence partitioning ) ， 有 时 称 为 等 价 分 类 (equivalence classing )。 等 价 类 划分 是 指 分 步 


嗓 地 把 海量 (无限 ) 的 测试 用 例 集 减 得 很 小 ， 但 过 程 同样 有 效 。 
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还 记得 第 3 章 的 Windows 计 算 器 程序 实例 吗 ? 对 两 数 相 加 的 所 有 情况 进行 测试 是 不 可 能 
的 ， 等 价 类 划分 技术 提供 了 一 个 选择 有 关 数 值 、 舍 弃 无 关 数 值 的 系统 方法 。 

例如 ， 在 不 了 解 等 价 类 划分 技术 的 前 提 下 ， 你 测试 了 1+1，1+2，1+3 和 1+4 之 后 ， 还 有 必 
要 测试 1+5 和 1+6 吗 ? 你 能 放心 地 认为 它们 正确 吗 ? 

考虑 一 下 1+99999999999999999999999999999999 (能 输入 的 最 大 数值 ) 呢 ? 这 个 测试 用 
例 可 能 与 其 他 用 例 有 些 不 同 ， 也 许 是 不 同 的 类 、 不 同 的 等 价 类 划分 。 如 果 你 有 选择 ， 是 选择 
以 上 的 用 例 还 是 选择 1 + 13? 

这 时 你 已 经 开始 像 软 件 测试 员 一 样 进行 思考 了 。 


注意 ”一 个 等 价 类 或 者 等 价 划 分 是 指 测 试 相同 目标 或 者 暴露 相同 软件 缺陷 的 一 组 测试 
用 例 。 


1+99999999999999999999999999999999 和 1+13 有 什么 区 别 呢 ? 对 于 1+13 ， 就 像 一 个 普通 
的 加 法 ， 与 1+5 或 者 1+392 没 有 什么 两 样 ， 而 1+99999999999999999999999999999999 则 属于 边 
界 点 的 情况 。 假 如 输入 最 大 允许 数值 ， 然 后 加 1， 可 能 会 出 现 问题 一 -也许 是 个 缺陷 。 这 个 极 
端 用 例 属 于 一 个 独立 的 划分 ， 与 常规 数字 的 正常 划分 不 同 。 


注意 ”在 寻找 等 价 划 分 时 ， 考 虑 把 软件 具有 相似 输入 、 相 似 输 出 、 相 似 操 作 的 分 在 一 
组 。 这 些 组 就 是 等 价 划 分 。 


请 看 一 些 例 子 : 
。 在 两 数 相 加 的 用 例 中 ， 测 试 1+13 和 1499999999999999999999999999999999 似 平 完全 不 
同 。 这 是 一 种 直觉 ， 前 一 个 看 起 来 像 是 正常 的 加 法 而 另 一 个 看 起 来 像 是 有 点 危险 。 这 
个 直觉 是 对 的 。 程 序 在 处 理 最 大 数值 加 1 和 两 个 小 数值 相 加 时 应 有 所 不 同 。 前 者 需要 处 
理 溢出 情况 。 由 于 软件 运行 这 两 个 用 例 的 方式 很 有 可 能 不 同 ， 所 以 它们 属于 不 同 的 等 
价 划 分 。 

如 果 具 有 编程 经 验 ， 就 可 能 会 想到 更 多 可 能 导致 软件 运行 不 同 的 “特殊 数值 ”。 如 
果 不 是 程序 员 ， 也 不 用 担心 一 一 你 很 快 就 会 学 到 这 种 技术 ， 并 且 无 需 了 解 代 码 细节 就 可 
以 运用 。 
e。 图 5$-3 显 示 了 选中 计算 器 程序 的 Edit 菜 单 后 显示 Copy 和 Paste 命 令 。 每 一 项 功能 ( 即 Copy 
和 Paste， 译 者 注 ) 有 5 种 执行 方式 。 要 想 Copy， 可 以 单 击 Copy 菜 单 命令 ， 在 菜单 弹出 
时 键入 c 或 C， 或 者 按 Ctrl+c 或 Ctrl+Shift+c 组 合 键 。 任 何 一 种 输入 都 会 把 当前 数值 复制 到 
剪贴 板 中 一 一 它们 执行 同样 的 输出 操作 ， 产 生 同 样 的 结果 。 








图 5-3 用 多 种 方法 执行 Copy 功 能 都 会 得 到 相同 结果 
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如 果 要 测试 Copy 命 令 ， 可 以 把 这 5 种 输入 划分 为 3 个 : 单 击 菜单 命令 ， 键 和 ec 或 
Ctrl+c。 对 软件 质量 更 有 信心 之 后 ,就 会 知道 无 论 以 何 种 方式 激活 Copy 功 能 都 工作 正常 ， 
甚至 可 以 把 这 些 划 分 进一步 缩减 为 1 个 ， 例 如 按 Ctrl+c 组 合 键 。 

。 作为 第 3 个 例子 ， 看 一 下 在 标准 的 Save As 对 话 框 〈 见 图 5-4) 中 输入 文件 名 称 的 情形 。 





gr 


图 5-4 Save As 对 话 框 中 的 File Name 文本 框 显 示 了 几 种 等 价 划分 的 可 能 性 


Windows 文 件 名 可 以 包含 除了 、/: *?“< > 和 | 之 外 的 任意 字符 。 文 件 名 长 度 是 1~255 个 字 
符 。 如 果 为 文件 名 创建 测试 用 例 ， 等 价 划分 有 合法 字符 、 非 法 字符 、 合 法 长 度 的 名 称 、 长 度 
过 长 名 称 和 长 度 过 短 名 称 。 

请 记 住 ， 等 价 类 划分 的 目标 是 把 可 能 的 测试 用 例 集 缩减 到 可 控制 且 仍 然 足以 测试 软件 的 
小 范围 内 。 因 为 选择 了 不 完全 测试 ， 就 要 冒 一 定 的 风险 ， 所 以 选择 分 类 时 必须 仔细 。 


注意 “如果 为 了 减少 测试 用 例 的 数量 过 度 划 分 等 价 类 ， 就 有 漏 掉 那 些 可 能 暴露 软件 缺 
陷 的 测试 的 风险 。 对 于 初 涉 软 件 测试 者 ， 一 定 要 请 经 验 丰富 的 测试 员 审 查 划 分 好 的 等 
价 类 别 。 


关于 等 价 类 划分 最 后 要 讲 的 一 点 是 等 价 类 划分 可 能 主观 。 科 学 有 时 也 是 一 门 艺术 。 测 试 
同一 个 复杂 程序 的 两 个 软件 测试 员 可 能 会 得 出 两 组 不 同 的 等 价 划分 间 。 只 要 审查 等 价 划分 的 
人 认为 它们 足以 覆盖 测试 对 象 就 行 了 。 


5.4 数据 测试 


对 软件 最 简单 的 认识 就 是 将 其 分 成 两 部 分 :数据 (或 其 范围 ) 和 程序 。 数 据 包括 键盘 答 
入 、 鼠 标 单 击 、 磁 盘 文 件 、 打 印 输出 等 。 程 序 是 指 可 执行 的 流程 、 转 换 、 逻 辑 和 运算 。 软 件 
测试 常用 的 一 个 方法 是 把 测试 工作 按 同 样 的 形式 划分 。 

对 数据 进行 软件 测试 ， 就 是 在 检查 用 户 输入 的 信息 、 返 回 的 结果 以 及 中 间 计 算 结果 是 否 
正确 。 

数据 的 例子 如 下 : 

。 在 文字 处 理 程序 中 输入 的 文字 。 

。 电子 表格 中 输入 的 数字 。 

。 太空 游戏 中 余下 的 射击 次 数 。 

。 图 像 处 理 软件 打印 的 图 片 。 
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。 存放 在 软盘 中 的 备份 文件 。 

。 通 过 调制 解 调 器 在 电话 线 上 发 送 的 数据 。 

即使 最 简单 的 程序 要 处 理 的 数据 量 也 可 能 极 大 。 还 记得 在 计算 器 上 执行 简单 加 法 的 输入 
数据 的 全 部 可 能 性 吗 ? 再 想 一 想 文字 处 理 程序 、 导 弹 制 导 
系统 软件 和 证 券 交易 程序 。 使 所 有 这 些 数 据 得 以 测试 的 技 
巧 (如 果 称 得 上 的 话 ) 是 ， 根 据 一 些 关键 的 原则 进行 等 价 
类 划分 ， 以 合理 减少 测试 用 例 ， 这 些 关键 的 原则 是 : 边界 
条 件 、 次 边界 条 件 、 空 值 和 无 效 数 据 。 


5.4.1 边界 条 件 


描述 边界 条 件 (boundary condition ) 测试 的 最 佳 方式 
如 图 5-5 所 示 。 如 果 在 悬崖 峭壁 边 可 以 自信 而 安全 地 行走 
而 不 掉 下 去 ， 平 地 就 几乎 不 在 话 下 了 。 如 果 软 件 能 在 其 边 
界 运 行 ， 那 么 在 正常 情况 下 就 应 该 不 会 有 什么 问题 。 

边界 条 件 是 特殊 情况 ， 因 为 编程 从 根本 上 说 在 边界 上 
容易 产生 问题 。 软 件 是 很 极端 的 一 一 即 要 么 对 要 么 不 对 。 
令 人 奇怪 的 是 如 果 对 一 定 范围 的 数据 进行 操作 ， 程 序 员 往 
往 在 处 理 大 量 中 间 数 值 时 都 是 对 的 ， 但 是 可 能 在 边界 处 出 


现 错误 。 清 单 5-1 说 明了 在 一 个 极 简单 的 程序 中 是 如 何 产 
生 边 界 条 件 问题 的 。 图 5-5 软件 边界 与 悬崖 很 类 似 





清单 5-1 演示 边界 条 件 缺 陷 的 简单 BASIC 程 序 


: Rem Create a 10 element integer array 
: Rem Initialize each element to -1 
: Dim data(10) As Integer 
: Dim i As Integer 
: Fori=1To10 
data(i) = -1 
Next i 
End 


ooDo 上 mm 一 


这 段 代 码 的 目的 是 创建 包含 10 个 元 素 的 数组 ， 并 为 数组 中 的 每 一 个 元 素 赋 初 值 -1。 看 起 
来 相当 简单 。 它 建立 了 包含 10 个 整数 的 数组 data 和 一 个 计数 值 1|。For 循 环 从 1 到 10， 数 组 中 从 
第 1 个 元 素 到 第 10 个 元 素 被 赋予 数值 -1。 边 界 问题 在 哪儿 ? 

在 大 多 数 BASIC 脚 本 中 ， 当 以 声明 的 范围 定义 数组 大 小 时 一 一 在 本 例 中 定义 语句 是 Dim 
data (10) as Integer 一 一 第 一 个 创建 的 元 素 是 0， 而 不 是 1。 该 程序 实际 上 创建 了 一 个 从 data (0) 
到 data(10) 共 11 个 元 素 的 数组 。 程 序 从 1 到 10 循 环 将 数组 元 素 的 值 初始 化 为 -1， 但 是 由 于 数组 
的 第 一 个 元 素 是 data(0)， 因 此 它 没有 被 初始 化 。 程 序 执行 完毕 ， 数 组 值 如 下 : 

data(0) =0 data(6) = -1 

data(1) = -1 data(7) = -1 


data(2) = -1 data(8) = -1 
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data(3) = -] data(9) = -1 

data(4) = 一 data(10) =-t . 

data(5) =— 

注意 data (0) 的 值 是 9， 而 不 是 -1。 如 果 这 位 程序 员 以 后 忘记 了 ， 或 者 其 他 程序 员 不 知道 
这 个 数组 是 如 何 初始 化 的 ， 那 么 他 就 可 能 会 用 到 数组 的 第 1 个 元 素 data (0)， 以 为 它 的 值 设 置 
成 了 -1。 诸 如 此 类 的 问题 很 常见 ， 在 复杂 的 大 型 软件 中 ， 可 能 导致 极其 讨厌 的 软件 缺陷 。 

5.4.1.1 边界 条 件 类 型 


现在 我 们 要 仔细 探讨 边界 是 由 什么 构成 的 。 测 试 新 手 常常 意识 不 到 一 组 给 定 的 数据 包含 
多 少 边 界 。 虽 然 较为 明显 的 通常 不 多 ， 但 是 深入 挖掘 可 以 找到 更 多 不 明显 的 、 有 趣 的 和 常常 
导致 软件 缺陷 的 边界 。 


注意 边界 条 件 是 指 软件 运行 在 计划 操作 界限 的 边界 的 情况 。 
如 果 软 件 测 试问 题 包含 确定 的 边界 ， 那 么 看 看 以 下 的 数据 类 型 : 


数值 速度 

字符 地 点 

位 置 尺寸 

数量 

同时 ， 考 虑 这 些 类 型 的 下 述 特征 : 

第 一 个 / 最 后 一 个 最 小 值 ” 最 大 值 
开始 / 完成 超过 / 在 内 
空 / 满 最 短 / 最 长 
最 慢 ”/ 最 快 最 早 / 最 迟 
最 大 / 最 小 最 高 / 最 低 
相 邻 / 最 远 


这 些 绝 不 是 确定 的 列表 ， 而 是 一 些 可 能 出 现 的 边界 条 件 。 每 一 个 软件 测试 问题 各 不 相同 ， 
可 能 包含 各 种 不 同 的 数据 以 及 其 独特 的 边界 。 


技巧 如 果 要 选择 在 等 价 划 分 中 包含 哪些 数据 ， 就 根据 边界 来 选择 。 


5.4.1.2 ”测试 边界 


到 目前 为 止 ， 我 们 知道 了 要 为 软件 操作 的 各 种 数据 集合 建立 等 价 划分 。 由 于 软件 容易 在 
边界 上 产生 人 缺陷 ， 因 此 ， 如 果 要 从 等 价 划 分 中 选择 包含 的 数据 ， 从 边界 条 件 中 选择 会 找 出 更 
多 的 软件 缺陷 。 

然而 ,仅仅 测试 边界 线 上 的 数据 点 往往 不 够 充分 。 就 像 变 戏法 所 说 的 那样 “右手 放 进 去 ， 
右手 伸 出 来 ， 右 手 放 进 去 ， 摇 一 摇 ……”" )， 最 好 测试 一 下 边界 的 两 边 一 一 往 上 再 摇 一 点 。 

如 果 建 立 两 个 等 价 划 分 就 可 以 找 出 更 多 软件 缺陷 。 第 一 个 划分 包含 认为 应 该 正确 的 数 
据 一 在 边界 内 部 景 后 一 两 个 合法 的 数据 点 。 第 二 个 区 间 包 含 认为 可 能 出 现 错 误 的 数据 一 一 边 
界 之 外 一 一 一 到 两 个 非法 的 数据 点 。 


技巧 提出 边界 条 件 时 ， 一 定 要 测试 临近 边界 的 有 效 数 据 ， 测 试 最 后 一 个 可 能 有 效 的 
数据 ， 同 时 测试 刚 超过 边界 的 无 效 数 据 。 








课 5 间 ” 莹 上 服 普 测 诚 款 件 9 


越界 测试 的 做 法 通常 是 简单 地 对 于 最 大 值 加 1 或 者 很 小 的 数 ， 以 及 对 于 最 小 值 减 1 或 者 很 
小 的 数 ， 例 如 : 

。 第 一 个 减 1/ 最 后 一 个 加 1。 

。 开始 减 1/ 完 成 加 1。 

。 空 了 再 减 / 满 了 再 加 。 

e。 慢 上 加 慢 / 快 上 加 快 

e。 最 大 数 加 1/ 最 小 数 减 1。 

。 最 小 值 减 1/ 最 大 值 加 1。 

。 刚好 超过 /刚好 在 内 。 

。 短 了 再 短 /长 了 表 长 。 

。 早 了 更 早 / 晚 了 更 上 晚 。 

。 最 高 加 1/ 最 低 减 1。 

看 以 下 几 个 例子 以 便 通盘 考虑 所 有 可 能 的 边界 : 

。 如 果 文 本 输入 域 允 许 输 入 1~255 个 字符 ， 就 尝试 输入 1 个 字符 和 255 个 字符 代表 合法 划分 
的 数据 。 还 可 以 输入 254 个 字符 作为 合法 输入 。 输 入 0 个 字符 和 256 个 字符 代表 非法 划分 
的 数据 。 

。 如 果 程 序 读 写 CD-R、 就 尝试 保存 一 个 尺寸 极 小 ， 其 至 只 有 一 项 的 文件 ， 然 后 保存 一 个 
很 大 的 一 一 刚好 在 光盘 容量 限制 之 内 的 文件 。 还 要 尝试 保存 一 个 空 文件 和 一 个 尺寸 大 于 
光盘 容量 的 文件 。 

。 如 果 程 序 允 许 在 一 张 纸 上 打 印 多 个 页 面 ， 就 尝试 只 打印 一 页 (标准 情况 )， 并 尝试 打印 
所 允许 的 最 多 页 面 。 如 果 可 能 ， 还 要 尝试 打印 0 页 和 比 最 多 允许 页 面 数 多 一 页 的 页 面 。 

。 也 许 软件 有 一 个 输入 9 位 邮政 编码 的 数据 输入 域 。 尝 试 输入 00000-0000 ， 即 最 小 、 最 简 
单 的 值 。 尝 试 输入 99999-9999， 即 最 大 的 值 。 总 之 ， 尝 试 输入 比 允 许 范 围 大 一 点 或 者 小 
一 点 的 值 。 . 

。 如 果 测 试飞 行 模拟 程序 ， 尝 试 控制 飞机 正好 在 地 平 线 上 以 及 最 大 允许 高 度 上 飞行 。 尝 试 
在 地 平 线 和 海平 面 之 下 飞行 ， 以 及 在 外 太空 飞行 。 

由 于 不 可 能 对 每 一 种 情况 完全 测试 ， 因 此 像 上 述 例 子 一 样 ， 围 绕 边 界 条 件 进 行 等 价 划分 ， 

并 建立 测试 用 例 是 至 关 重 要 的 。 这 是 减 小 测试 工作 量 最 为 有 效 的 方法 。 
注意 ”在 软件 的 每 一 个 部 分 不 断 寻 找 边 界 是 极为 重要 的 ， 寻 找 做 得 越 多 ， 边 界 就 会 发 
现 得 越 多 ， 可 能 找 出 得 软件 缺陷 就 越 多 。 


注意 缓冲 区 溢出 (buffer overrun) 是 由 边界 条 件 缺 陷 引起 的 ， 它 是 造成 软件 安全 问 
题 的 头号 原因 。 第 13 章 “软件 安全 性 测试 ”讨论 引起 缓冲 区 溢出 的 特定 条 件 以 及 如 何 
进行 测试 。 


5.4.2 次 边界 条 件 


上 面 讨 论 的 普通 边界 条 件 是 最 容易 找到 的 。 它 们 在 产品 说 明 书 中 有 定义 ， 或 者 在 使 用 软 
件 的 过 程 中 明显 。 而 有 些 边界 在 软件 内 部 ， 最 终 用户 几 乎 看 不 到 ， 但 是 软件 测试 员 仍 有 必要 
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进行 检查 。 这 样 的 边界 条 件 称 为 次 边界 条 件 (sub boundary conditions ) 或 者 内 部 边界 条 件 
(internal boundary conditions ) 。 

寻找 这 样 的 边界 不 要 求 软件 测试 员 成 为 程序 员 或 者 共有 阅读 源 代 码 的 能 力 ， 但 是 确实 要 
求 大 体 了 解 软 件 的 工作 方式 。2 的 智和 ASCII 表 是 这 方面 的 两 个 例子 。 所 测试 的 软件 可 能 有 许 
多 其 他 的 次 边界 条 件 ， 所 以 软件 测试 员 应 和 开发 小 组 的 程序 员 交 流 ， 看 看 他 们 能 否 对 其 他 的 
应 该 测试 的 次 边界 条 件 提供 建议 。 

5.4.2.1 2 的 军 


计算 机 和 软件 的 基础 是 二 进 制 数 一 一 用 位 (bit) 来 表示 0 和 和 1， 一 个 字 节 (byte) 由 8 位 组 
成 ，( 在 32 位 系统 上 ) 一 个 字 (words ) 由 4 个 字 节 组 成 ， 等 等 。 表 5-1 列 出 了 常用 的 2 的 每 单位 
及 其 等 价 数值 。 





表 5-1 软件 中 2 的 畴 
矫 单 位 范围 或 值 
Bit 0 orl 
Nibble 0-15 
Byte 0-255 
Word 0-4, 294, 967, 295 
Kilo 1,024 
Mega 1,048, 576 
Giga 1,073,741, 824 
Tera 1,099, 511, 627,776 





表 5-1 所 列 的 范围 和 值 是 作为 边界 条 件 的 重要 数据 。 除 非 软 件 向 用 户 表示 出 同样 的 范围 ， 
否则 在 需求 文档 中 不 会 明确 指明 。 然 而 ， 它 们 通常 由 软件 内 部 使 用 ， 外 部 是 看 不 见 的 ， 当 然 
除了 产生 软件 缺陷 的 情况 。 


2 的 宕 的 示例 | 

通信 软件 是 可 以 体现 2 的 固 的 示例 。 带 宽 或 者 传输 信息 的 能 力 总 是 受 限 制 的 ， 人 
们 总 是 需要 尽 可 能 更 快 地 收发 信息 。 因 此 ， 软 件 工程 师 要 尽 一 切 努 力 在 通信 字符 事 中 
压缩 更 多 的 数据 。 

其 中 一 个 方法 是 把 信息 压缩 到 尽 可 能 小 的 单元 中 ， 发 送 这 些小 单元 中 最 常用 的 信 
息 ， 在 必要 时 扩展 为 大 一 些 的 单元 。 

假设 某 种 通信 协议 支持 256 条 命令 。 软 件 将 发 送 编码 为 一 个 4 位 数据 的 最 常用 的 15 
条 命令 。 假 如 要 用 到 第 16 到 256 条 之 间 的 命令， 软件 就 转 而 发 送 编码 为 更 长 的 字 节 的 
命令 。 

软件 用 户 只 知道 可 以 执行 256 条 命令 ; 不 知道 软件 根据 4 位 / 字 节 的 边界 执行 了 专 
门 的 计算 和 不 同 的 操作 。 


在 建立 等 价 划分 时 ， 要 考虑 等 价 划分 中 是 否 需要 包含 2 的 宪 的 边界 条 件 。 例 如 ， 如 果 软 件 
接受 用 户 输入 1~1000 范 围 内 的 数字 , 谁 都 知道 在 合法 区 间 中 包含 1 和 1000， 也 许 还 要 有 2 和 999。 
为 了 覆盖 任何 可 能 的 2 的 寡 的 次 边界 ， 还 要 包含 临近 4 位 边界 的 14、 15 和 16， 以 及 临近 字 节 边 
界 的 254、255 和 256。 
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5.4.2.2 ASCI 表 
另 一 个 常见 的 次 边界 条 件 是 ASCII 字 符 表 。 表 5-2 是 ASCII 表 的 部 分 清单 。 
表 5-2 部 分 ASCII 值 表 





字 符 ASCII 值 字 符 ASCI 值 
Null 0 B 66 
Space 32 Y 89 

47 Zz 90 
48 [ 91 
1 | 49 ' 96 
2 50 a 97 
9 57 b 98 
58 y 121 
@ 64 z 122 
A 65 { 123 


注意 ， 表 5-2 不 是 良好 的 、 连 续 的 列表 。0~9 的 ASCII 值 是 48~57。 斜 杠 字符 (/) 在 数字 0 
的 前 面 ， 而 冒号 字符 (: ) 在 数字 9 的 后 面 。 大 写字 母 A~Z 对 应 的 ASCII 值 是 65~90。 小 写字 母 
对 应 的 ASCII 值 是 97~122。 这 些 情 况 都 代表 次 边界 条 件 。 

如 果 测 试 进行 文本 输入 或 文本 转换 的 软件 ， 在 定义 数据 划分 包含 哪些 值 时 ， 参 考 一 下 
ASCII 表 是 相当 明智 的 。 例 如 ， 如 果 测 试 的 文本 框 只 接受 用 户 输 入 字符 A~Z 和 a~z， 就 应 该 在 
非法 划分 中 包含 ASCII 表 中 这 些 字符 前 后 的 值 一 一 @、[、' 和 {。 


ASCII 和 UNICODE 

尽管 ASCII 仍 然 是 软件 表示 字符 数据 非常 流行 的 方式 ， 但 是 它 正 被 称 为 统一 编码 
(Unicode) 的 新 标准 取代 。Unicode 于 1991 年 由 统一 编码 联合 会 开发 ， 以 解决 ASCII 码 
无 法 表示 所 有 书面 语言 字符 的 问题 。 

ASCII 只 使 用 8 位 ， 能 表示 256 种 不 同 的 字符 。Unicode 使 用 16 位 ， 可 以 表示 65 535 
种 字符 。 目 前 已 经 为 39 000 多 种 字符 指定 了 数值 ， 其 中 21 000 多 种 用 于 表示 中 国 象形 
文字 。 


5.4.3 默认 . 空白. 空 值 、 零 值 和 无 


另 一 种 看 起 来 很 明显 的 软件 缺陷 来 源 是 当 软 件 要 求 输入 时 一 一 比如 在 文本 框 中 一 一 不 是 没 
有 输入 正确 的 信息 ， 而 是 根本 没有 输入 任何 内 容 ， 可 能 单单 按 了 Enter 键 。 这 种 情况 在 产品 说 
明 书 中 常常 忽视 ， 程 序 员 也 经 常 遗忘 ， 但 是 在 实际 使 用 中 却 时 有 发 生 。 

好 的 软件 会 处 理 这 种 情况 。 它 通常 将 输入 内 容 默认 为 边界 内 的 最 小 合法 值 ， 或 者 在 合法 
划分 中 间 的 某 个 合理 值 ; 或 者 返回 错误 提示 信息 。 

Windows 画 图 程序 的 Attributes (属性 ) 对 话 框 ( 见 图 5-6) 通常 在 Width 和 Height 文 本 框 中 
放 入 默认 值 。 如 果 用 户 有 意 无 意 地 将 默认 值 删 除 ， 使 文本 框 成 为 空白 ， 然 后 单 击 OK 按钮 ， 结 
果 如 何 ? ， 

理想 情况 是 软件 取 某 个 合法 的 宽度 和 高 度 作为 默认 值 来 处 理 。 如 果 没 有 这 样 做 ， 就 应 该 
返回 错误 提示 信息 作为 执行 结果 ( 见 图 5-7)。 虽 然 错误 提示 信息 “位 图 必须 大 于 一 个 像素 ” 
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的 描述 性 不 够 好 ， 但 这 是 另外 一 个 问题 。 
技巧 一 定 要 考虑 建立 处 理 默认 值 、 空 白 、 空 值 、 零 值 或 者 无 输入 等 条 件 的 等 价 划 分 。 








疏 
EY 
| 


于 
[A 


图 5-7 在 Width 和 Height 文 本 框 空 出 时 按 Enter 键 就 会 返回 错误 提示 信息 


因为 这 些 值 在 软件 中 通常 进行 不 同 的 处 理 , 所 以 不 要 把 它们 与 合法 情况 和 非法 情况 混在 
一 起 ， 而 要 建立 单独 的 等 价 划分 。 可 能 在 这 种 默认 情况 下 ， 和 输入 0 或 -1 作为 非法 值 比较 起 来 ， 
软件 会 执行 不 同 的 路 径 。 由 于 考虑 到 软件 的 不 同 操作 ， 所 以 应 把 这 些 作 为 单独 的 等 价 划分 。 


5.4.4 非法、 错误、 不 正确 和 垃圾 数据 


数据 测试 的 最 后 一 种 类 型 是 垃圾 数据 。 这 是 失效 性 测试 的 对 象 。 经 过 边界 测试 、 次 边界 
测试 和 默认 值 测试 等 通过 性 测试 证 实 软件 能 够 工作 之 后 ， 就 该 进行 垃圾 数据 测试 了 。 

从 纯粹 的 软件 测试 观点 来 看 ， 如 果 利 用 前 述 技术 全 面 测试 证 明 软 件 能 够 工作 了 ， 就 不 必 
再 做 破坏 实验 。 然 而 现实 中 考虑 到 软件 要 应 付 用 户 千奇百怪 的 使 用 方式 ， 这 样 做 肖 定 没 错 。 

如 果 想 一 想 今天 打包 后 的 软件 将 售 出 数 亿 份 拷贝 ， 就 完全 可 以 断定 一 定 有 一 部 分 用 户 会 
错误 地 使 用 软件 。 如 果 错 误 操作 导致 崩溃 或 者 数据 丢失 ， 用 户 不 会 责怪 自己 一 一 而 会 指责 软 
件 。 软 件 如 果 没 有 按照 用 户 的 意愿 运行 ， 就 算 有 一 个 缺陷 ， 经 常 是 这 样 。 

非法 、 错 误 、 不 正确 和 垃圾 数据 测试 是 很 有 意思 的 。 如 果 软 件 要 求 输入 数字 ， 就 输入 字 
母 。 如 果 软 件 只 接受 正 数 ， 就 输入 负数 。 如 果 软 件 对 日 期 敏感 ， 就 看 它 在 公元 3 000 年 是 否 还 
能 正常 工作 。 假 装 有 “肥胖 的 手指 "， 同 时 按 下 多 个 键 。 
此 类 测试 没有 实际 的 规则 ， 只 是 设法 破坏 软件 。 要 发 挥 创造 力 ， 要 会 走 偏 门 。 在 此 工作 
中 寻找 乐趣 吧 ! 
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5.5 状态 测试 


到 目前 为 止 ， 我 们 测试 的 是 数据 一 一 数字 、 文 字 、 软 件 输入 和 输出 。 软 件 测试 的 另 一 方面 
是 通过 不 同 的 状态 验证 的 程序 的 逻辑 流程 。 软 件 状 态 (software state) 是 指 软件 当前 所 处 的 条 
件 或 者 模式 ， 参 见 图 5-8 和 图 5-9。 


Penecn 









图 5-8 处 于 铅笔 绘画 状态 的 Windows 画 图 程序 


图 5-9 处 于 喷涂 状态 的 Windows 画 图 程序 
图 5-8 显 示 了 处 于 铅笔 绘画 状态 的 Windows 画 图 程序 ， 这 是 软件 启动 时 的 初始 状态 。 注 意 ， 


铅笔 工具 被 选中 ， 光 标的 形状 很 像 铅笔 ， 可 以 在 屏幕 上 画 出 细 线 。 图 5-9 显 示 了 处 于 喷涂 状态 
的 Windows 夯 图 程序 。 在 该 状态 下 ， 喷 枪 工具 被 选中 ， 喷 枪 大 小 确定 ， 光标 的 形状 很 像 喷漆 


把 ,, 绘制 效果 很 像 喷 羔 。 
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进一步 观察 画图 程序 提供 的 全 部 选项 一 -所 有 的 工具 、 菜单 、 颜 色 等 。 一 旦 选中 其 中 一 项 ， 
使 软件 改变 了 外 观 、 菜 单 或 者 某 些 操作 ， 就 是 改变 了 该 软件 的 状态 。 软 件 通 过 代码 执行 进入 
某 一 个 分 支 ， 触 发 一 些 数据 位 ， 设 置 某 些 变量 ， 读 取 某 些 数据 ， 转 入 一 个 新 的 状态 。 


注意 软件 测试 员 必 须 测 试 程序 的 状态 及 其 转换 。 


5.5.1 测试 软件 的 逻辑 流程 


还 记得 第 3 章 中 测试 Windows 计 算 器 程序 有 无 法 穷尽 的 候选 数据 的 例子 吗 ? 本章 前 面 已 经 
讲 过 ， 要 使 测试 可 以 控制 ， 就 必须 通过 建立 只 包含 最 关键 数字 的 等 价 划 分 来 减少 候选 数据 。 

测试 软件 的 状态 和 逻辑 流程 有 同样 的 问题 。 访 问 所 有 状态 通常 是 可 以 实现 的 【说 到 底 ， 
如 果 不 能 访问 ， 还 要 它 干什么 ? )。 困 难 在 于 除了 极其 简单 的 程序 之 外 ， 基 本 上 不 可 能 走 遍 所 
有 分 支 ， 达 到 所 有 状态 。 软 件 的 日 益 复杂 化 ， 尤 其 是 为 了 迎合 日 益 丰 富 的 用 户 界面 ， 提 供 了 
太 多 选择 和 选项 ， 致 使 程序 分 支 数 量 呈 指数 式 增长 。 

这 个 问题 与 著名 的 流动 推销 员 问 题 很 相似 : 给 定 城市 数目 ， 以 及 任何 两 个 城市 之 闻 的 距 
离 ， 设 法 找 出 访问 每 一 个 城市 一 次 并 返回 起 点 的 最 短路 线 。 如 果 只 有 5 个 城市 ， 则 可 以 快速 计 
算出 共有 120 条 不 同 的 路 线 。 走 遍 所 有 路 线 ， 从 中 找到 最 短 的 路 线 并 不 是 太 难 ， 花 费 不 了 太 长 
时 间 。 如 果 城 市 数 且 增加 到 成 让 上 千 一 一 或 者 软件 增加 成 百 上 千 种 状态 一 一 就 形成 一 个 难以 解 
决 的 问题 。 

对 于 软件 测试 ， 解 决 方法 是 运用 等 价 划分 技术 选择 状态 和 分 支 。 因 为 选择 不 做 完全 测试 ， 
所 以 要 承担 一 定 的 风险 ， 但 是 通过 合理 选择 减少 风险 。 

5.5.1.1 建立 状态 转换 图 

第 一 步 是 建立 软件 的 状态 转换 图 。 这 样 的 图 可 能 作为 产品 说 明 的 一 部 分 被 提供 出 来 。 如 
果 是 这 样 ， 则 可 以 采用 第 4 章 “ 检 查 产品 说 明 书 ” 所 述 的 技术 进行 静态 测试 。 否 则 ， 就 需要 创 
建 一 个 状态 图 。 . 

绘制 状态 转换 图 有 几 种 技术 。 图 5-10 给 出 了 两 个 例子 ， 一 个 使 用 方 框 和 箭头 。 另 一 个 使 用 
癌 轿 ( 泡 泡 ) 和 箭头 。 绘 图 使 用 的 技术 并 不 重要 ， 只 要 项 目 小 组 中 其 他 成 员 可 以 看 懂 就 行 了 。 
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图 5-10 状态 转换 图 可 以 用 不 同 的 技术 绘制 
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注意 “状态 转换 图 可 能 会 变 得 非常 遍 大 。 许 多 开发 小 组 在 办 公 室 墙 上 贴 满 了 打印 纸 。 
如 果 预 计 状 态 图 会 如 此 复杂 ，、 那 么 就 找 一 些 商 业 软 件 来 绘制 和 管理 。 


状态 转换 图 应 该 表示 出 以 下 项 目 : 

。 软件 可 能 进入 的 每 一 种 独立 状态 。 这 里 有 一 个 很 好 的 经 验 是 ， 如 果 不 能 断定 是 否 为 独立 
状态 ， 它 就 可 能 是 。 如 果 以 后 发 现 它 不 是 ， 随 时 可 以 将 其 剔除 。 

。 从 一 种 状态 转 入 另 一 种 状态 所 需 的 输入 和 条 件 。 可 能 是 按键 、 菜 单 选择 、 传 感 器 信号 或 
者 电话 振 铃 等 。 状 态 不 可 能 无 缘 无 故地 存在 ， 其 原因 正 是 我 们 在 这 里 要 寻找 的 。 

。 进 入 或 者 退出 某 种 状态 时 的 设置 条 件 及 输出 结果 。 包 括 显示 的 菜单 和 按钮 、 设 置 的 标志 
位 、 产 生 的 打印 输出 、 执 行 的 运算 等 。 这 些 是 状态 转换 时 发 生 的 部 分 或 全 部 现象 。 

- 提示 。 因为 正在 进行 黑金 测试 ， 所 以 不 必 了 解 代码 中 设置 的 底层 变量 。 从 软件 用 户 的 
角度 建立 状态 图 即 可 。 

5.5.1.2 ”减少 要 测试 的 状态 及 转换 的 数量 

为 大 型 软件 产品 建立 状态 图 是 一 项 艰巨 的 任务 。 但 愿 只 测试 整个 软件 的 一 部 分 ， 使 建立 


状态 图 变 成 一 个 可 以 接受 的 任务 。 完 成 状态 图 之 后 ， 就 可 以 回 过 头 来 看 看 所 有 状态 以 及 这 些 
状态 是 如 何 转换 的 。 圆 满 完成 这 项 工作 将 是 一 个 惊人 之 举 。 





而 是 每 一 种 线路 组 合 ， 翻 来 覆 去 、 循 环 往复 。 与 流动 推销 员 问 题 一 样 ， 遍 历 所 有 的 分 支 是 不 
可 能 的 。 
正如 对 数据 进行 等 价 划分 一 样 ， 需 要 将 大 量 的 可 能 性 减少 到 可 以 操作 的 测试 用 例 集合 。 
有 以 下 5 种 实现 方法 : 
。 每 种 状态 至 少 访问 一 次 。 如 何 到 达 的 没有 关系 ， 但 是 每 一 种 状态 都 必须 测试 。 
。 测试 看 起 来 是 最 常见 和 最 普遍 的 状态 转换 。 尽 管 听 起 来 很 主观 ， 但 是 其 根据 是 进行 产品 
说 明 书 的 静态 黑 盒子 分 析 ( 见 第 3 章 ) 时 收集 到 的 信息 。 某 些 用 户 情况 很 可 能 比 其 他 更 
常见 。 希 望 这 样 能 管用 。 
。 测试 状态 之 间 最 不 常用 的 分 支 。 这 些 分 支 是 最 容易 被 产品 设计 者 和 程序 员 忽视 的 。 软 件 
测试 员 也 许 是 第 一 个 测试 它们 的 人 。 
e 测试 所 有 错误 状态 及 其 返回 值 。 出 错 条 件 通常 难以 建立 。 程 序 员 常常 编写 代码 处 理 某 些 
错误 ， 但 不 会 测试 自己 的 代码 。 错 误 没有 得 到 正确 处 理 、 错 误 提示 信息 不 正确 、 修 复 错 
误 时 未 正确 恢复 软件 等 情况 常 有 发 生 。 
。 测试 随机 状态 转换 。 如 果 打 印 了 状态 图 ， 就 可 以 在 上 面 任意 做 各 种 标记 。 如 果 有 时 间 做 
得 更 多 ， 阅 读 第 15 章 “自动 测试 和 测试 工具 ”关于 如 何 自 动 执行 状态 随机 转换 测试 。 
5.5.1.3 怎样 进行 具体 测试 


确定 要 测试 的 状态 及 其 转换 之 后 ， 就 可 以 定义 测试 用 例 了 。 

测试 状态 及 其 转换 包括 检查 所 有 的 状态 变量 (state variables) 一 “与 进入 和 退出 状态 相关 
的 静态 条 件 、 信 息 、 值 、 功 能 等 。 图 5-11 给 出 了 Windows 画 图 程序 处 于 启动 状态 的 例子 。 

以 下 是 定义 画图 程序 启动 状态 的 部 分 状态 变量 : 
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图 5-11 Windows 画 图 程序 在 启动 状态 打开 的 屏幕 


。 如 图 5-11 所 示 的 窗口 外 观 。 

。 窗口 尺寸 被 设置 为 上 一 次 使 用 画图 程序 时 的 尺寸 。 

e 绘画 区 域 空白 。 

。 显示 工具 栏 、 颜 色 栏 和 状态 条 。 

。 铅笔 工具 被 选中 ， 而 其 他 所 有 工具 均 未 选中 。 

。 默认 颜色 是 黑色 前 景 、 白 色 背 景 。 

e 文档 名 称 是 untitled 。 

虽然 仔细 想 想 还 能 找 出 更 多 状态 变量 ， 但 是 以 上 这 些 变 量 已 经 能 够 为 定义 状态 提供 好 的 
思路 。 请 牢记 ， 无 论 状态 是 看 得 见 的 窗口 和 对 话 框 等 ， 还 是 看 不 见 的 通信 程序 和 金融 软件 包 
的 组 成 部 分 等 ， 都 采用 同样 的 过 程 来 确定 状态 条 件 。 

把 对 状态 及 其 转换 的 假定 与 项 目 小 组 的 产品 说 明 书 作者 和 程序 员 讨 论 是 个 好 主意 。 他 们 
可 以 提供 软件 测试 员 可 能 想不到 的 、 表 面 现象 背后 的 状态 内 幕 。 


文档 涂改 标志 

状态 变量 也 许 看 不 见 ， 但 是 很 重要 。 一 个 常见 的 例子 是 文档 涂改 标志 。 

当 文 档 载 入 编辑 器 ， 例 如 文字 处 理 程序 或 画图 程序 中 时 ， 一 个 称 为 文档 涂 涂改 标记 
(dirty document flag) 的 状态 变量 即 被 清除 ， 软件 处 于 “洁净 ”状态 。 只 要 文档 未 做 
任何 修改 ， 软 件 就 保持 这 种 状态 。 查看 和 滚动 显示 文档 都 不 会 改变 这 种 状态 。 一 旦 用 
户 键入 任何 内 容 ， 或 者 以 某 种 方式 修改 文档 ， 软 件 就 转换 到 “涂改 状态 。 

在 洁净 状态 下 ， 试 图 关闭 或 者 退出 软件 ， 软 件 会 正常 关闭 。 如 果 文 档 处 于 涂改 状 
态 ， 有 退出 之 前 用 户 就 会 被 询问 是 否 保 存 所 做 的 改动 。 

有 些 软 件 很 高 级 ， 用 户 执行 了 涂改 文档 的 编辑 操作 之 后 ， 可 以 撤销 和 恢复 ,使 文 
档 回 到 原来 的 情形 ， 软 件 返回 洁净 状态 。 退出 程序 时 不 会 提示 保存 文档 。 
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5.5.2 失败 状态 测试 


以 上 探讨 的 状态 测试 都 属于 通过 性 测试 ， 测 试 包括 审查 软件 、 描 绘 状态 、 尝 试 各 种 合法 
可 能 性 、 确 认 状 态 及 其 转换 正常 。 和 数据 测试 一 样 ， 相 反 的 做 法 是 找到 使 测试 软件 失败 的 案 
例 。 此 类 案例 的 例子 是 竞争 条 件 、 重 复 、 压 迫 和 重负 。 

5.5.2.1 竞争 条 件 和 时 序 错乱 


当今 大 多 数 操作 系统 ， 无 论 是 用 于 个 人 计算 机 还 是 专用 设备 ， 都 具备 多 任务 执行 能 力 。 
多 任务 《multitasking ) 是 指 操作 系统 设计 用 来 同时 执行 多 个 独立 的 进程 。 这 些 进程 可 以 是 电 
子 表格 或 者 电子 邮件 这 样 的 独立 程序 ; 也 可 以 是 同一 个 程序 中 的 不 同 部 分 ， 例 如 在 文字 处 理 
程序 中 ， 在 后 台 打印 的 同时 ， 人 允许 用 户 输入 。 

设计 多 任务 操作 系统 并 不 繁琐 ， 设 计 充 分 利用 多 任务 的 软件 才 是 艰巨 的 任务 。 在 真正 的 
多 任务 环境 中 ， 软 件 设 计 绝 对 不 能 想当然 ， 必 须 处 理 随 时 被 中 断 的 情况 ， 能 够 与 其 他 任何 软 
件 在 系统 中 同时 和 运行， 并且 共 享 内 存 、 磁 盘 、 通 信 以 及 其 他 硬件 资源 。 

这 一 切 的 结果 就 是 可 能 导致 竞争 条 件 问题 。 这 些 问 题 是 指 几 个 事件 恰巧 挤 在 一 起 ， 由 于 
软件 未 预料 到 运行 过 程 会 被 中 断 ， 以 致 造成 混乱 。 也 就 是 说 ， 时 序 发 生 错乱 。 竞 争 条 件 (race 
condition ) 一 词 源 自 很 容易 想到 的 情形 一 一 多 个 进程 向 终点 线 冲 刺 ， 不 知道 谁 会 首先 到 达 。 


注意 竞争 条 件 测试 难以 设计 ， 最 好 是 首先 仔细 查看 状态 转换 图 中 的 每 一 个 状态 ， 以 
找 出 哪些 外 部 影响 会 中 断 该 状态 。 考 虑 要 使 用 数据 如 果 没 有 准备 好 ， 或 者 在 用 到 时 发 
生 了 变化 ， 状 态 会 怎样 。 数 条 纹 线 或 者 直线 同时 相连 的 情形 如 何 ? 


以 下 是 可 能 会 面临 竞争 条 件 的 例子 情形 : 

。 两 个 不 同 的 程序 同时 保存 和 打开 同一 个 文档 。 

。 共享 同一 台 打 印 机 、 通 信 端 口 或 者 其 他 外 围 设备 。 

。 当 软 件 处 于 读 取 或 者 改变 状态 时 按键 或 者 单 击 鼠 标 。 

se。 同时 关闭 或 者 启动 软件 的 多 个 实例 。 

。 同时 使 用 不 同 的 程序 访问 一 个 共同 的 数据 库 。 

这 看 起 来 像 胡 乱 测 试 ， 实 际 不 是 ， 用 户 常常 意外 地 引起 这 些 操作 。 软 件 必须 足够 强壮 以 
应 付 此 类 情况 。 多 年 前 这 样 的 要 求 可 能 不 合 常理 ， 但 是 现在 ， 用 户 希望 软件 在 此 类 情况 下 仍 
能 正常 工作 。 

5.5.2.2 重复 、 压 迫 和 重负 

另外 三 个 失效 性 状态 测试 是 重复 、 压 迫 和 重负 。 这 些 测 试 的 目标 是 那些 处 理 程序 员 没 考 
虑 到 ， 但 在 极端 恶劣 条 件 下 可 能 发 生 问题 的 状态 。 

重复 测试 (repetition testing ) 是 不 断 执 行 同样 的 操作 。 最 简单 的 是 不 停 地 启动 、 关 闭 程 
序 。 还 可 以 反复 读 写 数据 或 者 反复 选择 同一 个 操作 。 要 想 找 出 一 个 软件 缺陷 ， 可 能 只 需 重复 
几 次 操作 ， 也 可 能 需要 成 千 上 万 次 尝试 。 

进行 这 种 反复 测试 的 主要 原因 是 检查 是 否 存在 内 看 泄漏 《memory leaks)。 如 果 计 算 机 内 
存 被 分 配 进 行 某 些 操 作 ， 但 是 操作 完成 时 没有 完全 释放 ， 就 会 产生 一 个 常见 的 软件 问题 。 结 
果 是 最 后 程序 耗 尽 了 它 赖 以 工作 的 内 存 空间 。 如 果 以 前 使 用 的 某 个 程序 在 开始 启动 时 工作 状 
况 良 好 ， 但 是 随后 变 得 越 来 越 慢 ， 或 者 经 过 一 段 时 间 就 表现 不 稳定 ， 原 因 就 可 能 是 内 存 泄漏 
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缺陷 。 重 复 测 试 就 能 够 暴露 这 些 问题 。 

压迫 测试 〈stress testing) 是 使 软件 在 不 够 理想 的 条 件 下 运行 一 一 内 存 小 、 磁 盘 空 间 少 、 
CPU 速 度 慢 、 调 制 调解 器 速率 低 等 。 观 察 软 件 对 外 部 资源 的 要 求 和 依赖 的 程度 。 压 迫 测试 就 
是 将 支持 降 到 最 低 限 度 ， 目 的 在 于 尽 可 能 地 限制 软件 的 必要 条 件 。 这 是 否 有 点 像 边界 条 件 测 
试 呢 ? 没 错 。 

重负 测试 (load testing) 与 压迫 测试 相反 。 压 迫 测试 是 尽量 限制 软件 ， 而 重负 测试 是 尽量 
提供 条 件 任 其 发 挥 。 让 软件 处 理 尽 可 能 大 的 数据 文件 。 如 果 软 件 对 打印 机 或 者 通信 端口 之 类 
的 外 设 进行 操作 ， 就 把 能 连 的 都 连 上 。 如 果 正 在 测试 的 因特网 服务 器 可 以 处 理 几 千 个 并 发 连 
接 ， 就 按 它 说 的 做 。 最 大 限度 地 发 掘 软件 的 能 力 ， 让 它 不 堪 重 负 。 

不 要 忘 了 时 间 也 是 一 种 重负 测试 。 对 于 大 多 数 软件 ， 长 期 稳定 地 工作 是 很 重要 的 。 某 些 
软件 应 该 能 够 永远 运行 下 去 ， 而 不 用 重新 启动 。 


注意 重复、 压迫 和 重负 测试 应 联合 使 用 ， 同 时 进行 ， 这 是 找 出 以 其 他 方式 难以 发 现 
的 严重 缺陷 的 一 个 可 靠 的 方法 。 


对 于 重复 、 压 迫 和 重负 测试 有 两 个 重要 事项 : 

。 项 目 经 理 和 小 组 程序 员 可 能 不 完全 接受 软件 测试 员 这 样 破坏 软件 的 做 法 。 他 们 可 能 争辩 
客户 不 会 这 样 使 用 系统 ， 或 者 强调 这 是 软件 测试 员 的 看 法 。 事 实 上 不 然 ， 客 户 会 这 样 做 
的 。 软 件 测试 员 的 任务 是 确保 软件 在 这 样 恶劣 的 条 件 下 仍 能 正常 工作 ， 否 则 就 报告 软件 
缺陷 。 第 19 章 “报告 发 现 的 问题 ”将 讲述 如 何以 最 佳 方式 报告 软件 缺陷 ， 使 其 得 到 认真 
对 待 和 修复 。 

。 无 数 次 打开 和 关闭 程序 对 于 手工 操作 是 不 可 能 的 。 同 样 ， 找 出 几 千 人 与 因特网 服务 器 连 
接 也 是 难以 实现 的 。 第 15 章 讲述 了 测试 自动 化 ， 以 及 如 何 进行 此 类 测试 而 不 需 兴 师 动 众 
的 技巧 。 


5.6 其 他 黑 盒 测试 技术 


余下 的 黑 盒 测试 技术 不 像 已 经 描述 的 数据 测试 和 状态 测试 那样 独立 ， 而 是 它们 的 变形 。 
如 果 对 整个 程序 数据 进行 了 完整 的 等 价 划分 ， 创 建 了 详细 的 状态 图 ， 并 且 开 发 完成 了 相关 的 
测试 用 例 ， 就 会 发 现 大 多 数 能 由 用 户 发 现 的 软件 缺陷 。 

剩 下 的 是 找 出 缺陷 中 的 漏网 之 鱼 的 技术 。 假 如 这 些 软 件 缺 陷 是 有 生命 的 ， 就 应 该 有 自己 
的 思想 和 行为 方式 。 要 找 出 它们 也 许 有 一 点 主观 ， 没 有 实 实在 在 的 理由 根据 ， 但 是 如 果 要 找 
出 所 有 的 软件 缺陷 ， 就 必须 得 有 一 点 创造 力 。 


5.6.1 像 笨 抽 的 用 户 那样 做 


为 了 礼 狐 一 些 ， 正 确 的 说 法 也 许 应 该 是 无 经 验 的 用 户 (inexperienced user) 或 新 用 户 
(new user)， 但 是 事实 上 都 是 一 回 事 。 一 个 不 熟悉 软件 的 人 面 对 程 序 时 ， 他 会 做 出 令 人 永远 想 
不 到 的 举动 。 他 们 会 输入 程序 员 无 从 想像 的 数据 。 他 们 会 在 中 途 变 卦 ， 退 回去 执行 其 他 操作 。 
他 们 冲浪 遇 到 某 个 站 点 ， 可 能 会 单 击 不 应 该 单 击 的 东西 。 他 们 会 发 现 开 发 小 组 完全 遗漏 的 软 
件 缺 陷 。 

软件 测试 员 看 到 一 个 没有 任何 测试 经 验 的 人 只 花 5 分 钟 来 使 用 软件 并 使 其 崩溃 ， 一 定 会 感 
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到 诅 形 吧 ! 他 们 是 怎样 做 的 ? 他们 不 遵循 任何 规则 ， 也 不 做 任何 假定 。 

在 设计 测试 用 例 或 者 初次 查看 软件 时 ， 要 设法 像 笨 抽 的 用 户 那样 想 问 题 。 抛 开关 于 软件 
应 该 如 何 工作 的 先入 之 见 。 如 果 可 能 ， 找 一 个 其 他 专业 的 朋友 来 整理 思路 。 假 设 他 什么 也 不 
会 。 把 这 些 测试 用 例 加 入 到 已 经 设计 好 的 测试 用 例 库 中 ， 就 会 更 加 全 面 。 


5.6.2 在 已 经 找到 的 软件 缺陷 的 地 方 再 找 找 


在 已 经 找到 软件 缺陷 的 地 方 再 找 的 原因 有 两 个 : 

。 如 第 3 章 所 述 ， 找 到 的 软件 缺陷 越 多 ， 就 说 明 那 里 的 软件 缺陷 越 多 。 如 果 发 现在 不 同 的 
特性 中 找 出 了 大 量 上 边界 条 件 软件 缺陷 ， 那 么 明智 的 做 法 是 对 所 有 特性 着 重 测 试 上 边界 
条 件 。 当然 无 论 如 何 要 进行 此 类 测试 的 ， 但 是 还 应 该 投入 一 些 案例 来 保证 这 个 问题 不 是 
普遍 存在 的 。 

。 许多 程序 员 倾 向 于 只 修复 报告 出 来 的 软件 缺陷 ， 不 多 也 不 少 。 如 果 报 告 软件 缺陷 是 启 
动 一 终止 一 再 启动 255 次 导致 户 涡 ， 程 序 员 就 只 修复 这 个 问题 。 也 许 是 内 存 泄漏 导致 这 
个 问题 出 现 ， 程 序 员 找 到 症结 并 将 其 修复 。 当 拿 回 软件 重新 测试 时 ， 一 定 要 重新 执行 同 
样 的 测试 256 次 以 上 。 在 这 个 范围 之 外 极 有 可 能 存在 其 他 的 内 存 泄露 问题 。 


5.6.3 像 黑 客 一 样 考虑 问题 


在 第 13 章 将 了 解 到 ， 没 有 软件 是 100% 安 全 的 。 黑 客 知道 这 一 吉 ， 会 寻找 软件 的 漏洞 并 利 
用 这 些 漏洞 。 作 为 测试 员 ， 需 要 从 另外 的 角度 考虑 问题 。 想 想 软件 里 面 有 哪些 有 价值 的 东西 ， 
为 什么 有 人 要 想 获得 其 访问 权限 ， 黑 客 进 入 的 的 方法 有 哪些 。 不 要 太 绅士 ， 黑客 不 会 绅士 。 


5.6.4 凭借 经 验 、 直 觉 和 预感 


要 想 成 为 真正 的 软件 测试 员 ， 积 累 经 验 是 不 可 替代 的 。 没 有 比 亲 自动 手 更 好 的 学 习 工具 ， 
也 没有 比 客户 第 一 次 打 电 话 报告 刚 经 过 测试 的 软件 中 存在 缺陷 一 事 更 好 的 教训 了 。 

经 验 和 直觉 是 不 可 言传 的 ， 必 须 经 过 长 期 的 积累 。 运 用 现在 学 到 的 全 部 技术 进行 测试 ， 
仍然 有 可 能 遗漏 重要 的 软件 缺陷 。 这 是 无 法 更 改 的 事实 。 随 着 在 职业 生涯 中 逐步 提高 ， 学 习 
测试 不 同类 型 和 规模 的 产品 ， 就 会 得 到 各 种 提示 和 技巧 以 便 更 加 有 效 地 找 出 令 人 环 手 的 软件 
缺陷 。 重 新 开始 测试 新 软件 ， 就 可 以 很 快 找 出 以 前 同事 可 能 遗漏 的 软件 缺陷 。 

记录 哪些 技术 有 效 ， 哪 些 不 行 。 尝 试 不 同 的 途径 。 如 果 认 为 有 可 疑 之 处 ， 要 深入 探究 。 
按照 预感 行事 ， 直 至 证 实 这 是 错误 为 止 。 

经 验 是 每 个 人 为 其 错误 寻找 的 代名词 。 

一 一 奥斯卡 : 王尔德 (Oscar Wilde ) 


5.7 小 结 


本 章 够 长 的 。 动 态 黑 盒 测试 范围 广泛 。 对 于 测试 新 手 而 言 ， 这 也 是 最 重要 的 一 童 。 这 好 
比 是 面试 或 者 上 岗 第 一 天 接 到 软件 进行 测试 。 运 用 本 章 所 讲 的 技术 是 快速 找 出 软件 缺陷 行 之 
有 效 的 方法 。 

然而 ， 不 能 以 为 这 就 是 软件 测试 的 全 部 内 容 。 如 果 是 这 样 ， 本 书 其 他 各 章 就 不 用 看 了 。 
动态 黑 盒 测试 只 是 引入 大 门 。 软 件 测 试 还 有 很 多 内 容 ， 现 在 只 是 刚 开始 。 
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以 下 两 章 介绍 访 问 程序 代码 时 进行 的 软件 测试 ， 讲 述 代码 的 工作 方式 和 底层 特性 。 上 述 
黑 盒子 技术 仍然 有 效 ， 但 是 要 用 新 技术 来 完善 ， 从 而 成 为 更 称职 的 软件 测试 员 。 


5.8 小 测验 


以 下 是 帮助 读者 加 深 理 解 的 小 测验 。 答 案 参见 附录 A 一 一 但 是 不 要 偷 看 ! 

1. 判断 是 非 : 在 没有 产品 说 明 书 和 需求 文档 的 条 件 下 可 以 进行 动态 黑 盒 测试 。 

2. 如 果 测 试 程序 向 打印 机 输送 打印 内 容 ， 应 该 选用 哪些 通用 的 失效 性 测试 用 例 ? 

3. 启动 Windows 写 字 板 程序 ， 并 从 File 菜 单 选取 Print 命 令 ， 打 开 如 图 5-12 所 示 的 对 话 框 。 
左下 角 显 示 的 Print Range (打印 区 域 ) 特性 存在 什么 样 的 边界 条 件 ? 





图 5-12 Windows 打 印 对 话 框 显示 了 打印 区 域 特性 


4. 假设 有 一 个 文本 框 要 求 输入 10 个 字符 的 邮政 编码 ， 如 图 5-13 所 示 。 对 于 该 文本 框 应 该 
进行 怎样 的 等 价 划分 ? 


CX 





i 


图 5-13 最 多 允许 输入 10 个 字符 的 示范 邮政 编码 文本 框 


5. 判断 是 非 : 访问 程序 的 所 有 状态 也 确保 了 遍历 各 种 状态 之 间 的 转换 。 

6. 绘制 状态 转换 图 有 多 种 不 同 的 方法 ， 但 是 它们 都 具有 相同 的 三 个 要 素 是 什么 ? 
7. Windows 计 数 器 程序 的 初始 状态 变量 有 哪些 ? 

8. 当 设 法 显露 竞争 条 件 软件 缺陷 时 ， 要 对 软件 进行 何 种 操作 ? 

9. 判断 是 非 : 在 进行 压迫 测试 的 同时 进行 重负 测试 是 不 合 情 理 的 。 





第 6 章 
榨 查 代码 


软件 测试 不 仅仅 限于 像 第 4 章 “ 检 查 产品 说 明 书 ”和 第 5 章 “ 带 上 眼罩 测试 软件 ”那样 把 
产品 说 明 书 和 程序 当做 黑 盒子 来 对 待 。 如 果 具 有 编程 经 验 ， 即 使 只 有 一 点 ， 就 可 以 对 软件 的 
体系 结构 和 代码 进行 测试 。 

在 某 些 行业 中 ， 此 类 验证 不 如 黑 盒 测试 通用 。 然 而 ， 如 果 测 试 军 队 、 金 融 、 工 业 自动 化 、 
医药 类 软件 ， 或 者 有 幸 在 组 织 严格 的 开发 模式 下 工作 ， 在 代码 的 级 别 验证 产品 就 是 例行公事 。 
如 果 在 测试 软件 的 安全 问题 ， 那 么 这 是 必须 进行 的 。 

本 章 讲 述 进 行 设计 和 代码 验证 的 基础 。 对 于 测试 新 手 ， 这 可 能 不 是 首要 任务 ， 但 是 如 果 
对 编程 感 兴趣 ， 这 就 是 必由之路 。 - 

本 章 重 点 包括 : 

。 静态 白 盒 测试 的 好 处 

。 各 种 类 型 的 静态 白 盒 测 试 综 述 

。 编码 规 范 和 标准 

。 如 何 从 整体 审查 代码 错误 


6.1 静态 白 盒 测试 : 检查 设计 和 代码 


还 记得 第 4 章 所 讲 的 静态 测试 和 白 盒 测 试 的 定义 吗 ? 静态 测试 是 指 测试 非 运行 部 分 一 一 检 
验 和 审查 。 白 金 (或 者 称 为 透明 盒 ) 测试 是 指 访问 代码 ， 能 够 查看 和 审查 。 

静态 白金 测试 是 在 不 执行 软件 的 条 件 下 有 条 理 地 仔细 审查 软件 设计 、 体 系 结构 和 代码 ， 
从 而 找 出 软件 缺陷 的 过 程 ， 有 时 称 为 结构 化 分 析 。 

进行 静态 白 盒 测试 的 首要 原因 是 尽早 发 现 软 件 缺 陷 ， 以 找 出 动态 黑 盒 测试 难以 发 现 或 隔 
离 的 软件 缺陷 。 在 开发 过 程 初 期 让 测试 小 组 集中 精力 进行 软件 设计 的 审查 非常 有 价值 。 

进行 静态 白 盒 测试 的 另外 一 个 好 处 是 ， 为 黑 盒 测试 员 在 接受 软件 进行 测试 时 设计 和 应 用 
测试 用 例 提供 思路 。 他 们 可 能 不 必 了 解 代码 的 细节 ， 但 是 通过 听 审 查 评论 ， 可 以 确定 有 问题 
或 者 容易 产生 软件 缺陷 的 特性 范围 。 

注意 ”开发 小 组 负责 静态 白 盒 测 试 的 人 员 不 是 固定 的 。 在 某 些 小 组 中 ,程序 员 就 是 组 

织 和 执行 审查 的 人 员 ， 软 件 测 试 员 被 邀请 作为 独立 的 观察 者 。 还 有 一 些小 组 中 ， 软 件 

测试 员 是 该 任务 的 执行 人 ， 要 求 编写 代码 的 程序 员 和 其 他 同事 帮助 审查 。 总 之 ， 哪 一 

种 方式 都 可 以 。 这 取决 于 开发 小 组 选择 哪 一 种 方式 更 适合 自身 的 情况 。 
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对 于 静态 白 盒 测 试 最 不 幸 的 是 常常 不 能 善始善终 。 许 多 小 组 错误 地 认为 这 样 耗 时 太 多 、 
费用 太 高 、 没 有 产 出 。 这 些 都 不 对 一 一 与 产品 接近 完工 时 的 有 选择 性 的 测试 ， 找 出 、 甚 至 找 
不 出 软件 缺陷 相 比 。 问 题 在 于 人 们 一 般 认为 程序 员 的 任务 是 编写 代码 ， 而 任何 破坏 代码 编写 
效率 的 事情 都 会 减缓 开发 过 程 。 

所 幸 的 是 ， 形 势 变 了 。 许 多 公司 意识 到 早期 测试 的 好 处 ， 并 招聘 和 培训 程序 员 和 测试 员 
进行 白 盒 测 试 。 这 不 是 高 新 的 学 科 〈 除 非 有 人 设计 成 这 样 ) ， 但 是 起 步 要 求 了 解 一 些 基 本 技术 。 
假如 有 兴趣 进一步 深入 ， 那 么 机 会 是 无 限 的 。 


6.2 正式 审查 


正式 审查 (formal review) 就 是 进行 静态 白 盒 测试 的 过 程 。 正 式 审 查 的 含义 很 广 ， 从 两 个 

程序 员 之 间 的 简单 交谈 ， 到 软件 设计 和 代码 的 详细 、 严 格 检查 均 属 于 此 过 程 。 
正式 审查 有 4 个 基本 要 素 : 
。 确定 问题 。 审 查 的 目的 是 找 出 软件 的 问题 一 -不仅 是 出 错 的 项 目 ， 还 包括 遗漏 项 目 。 全 
部 的 批评 应 该 直 指 代码 或 设计 ， 而 不 是 其 设计 实现 者 。 参 与 者 之 间 不 应 该 相互 指责 。 应 
把 自我 意识 、 个 人 情绪 和 敏感 丢 在 一 边 。 
。 遵守 规则 。 审查 要 遵守 一 套 固 定 的 规则 , 规则 可 能 设 定 要 审查 的 代码 量 (通常 有 数 百 行 )， 
花费 多 少时 间 〈 数 小 时 ) ， 哪 些 内 容 要 做 评价 等 。 其 重要 性 在 于 参与 者 了 解 自己 的 角色 、 
目标 是 什么 。 这 有 助 于 使 审查 进展 得 更 加 顺利 。 
。 准备 。 每 一 个 参与 者 都 为 审查 做 准备 ， 并 尽 自 己 的 力量 。 根 据 审查 的 类 型 ， 参 与 者 可 能 
扮演 不 同 的 角色 。 他 们 需要 了 解 自己 的 责任 和 义务 ， 并 积极 参与 审查 。 在 审查 过 程 中 找 
出 的 问题 大 部 分 是 在 准备 期 间 发 现 的 ， 而 不 是 实际 审查 期 间 。 
e。 编 写 报告 。 审 查 小 组 必须 做 出 审查 结果 的 书面 总 结 报告 ， 并 使 报告 便于 开发 小 组 的 成 
员 使 用 。 审 查 会 议 结果 必须 尽快 告诉 别人 一 一 诸如 发 现 了 多 少 问题 ， 在 哪里 发 现 的 ， 
等 等 。 . 
进行 正式 审查 要 按照 已 经 建立 起 来 的 过 程 执 行 。 随 意 “ 聚 在 一 起 复查 代码 ”是 不 够 的 ， 
实际 上 还 会 造成 危害 。 如 果 执 行 过 程 随 意 ， 就 会 遗漏 软件 缺陷 ， 参 与 者 很 可 能 感觉 这 样 做 是 
在 浪费 时 间 。 . 

如 果 审 查 正 确 地 进行 ， 就 可 以 证 明 这 是 早期 发 现 软件 缺陷 的 好 方法 。 它 们 好 比 是 一 张 初 
始 的 捕虫 网 ( 见 图 6-1)， 在 开始 阶段 捕 提 大 一 些 的 虫子 。 诚 然 ， 小 虫子 仍然 能 够 穿 过 ， 但 是 
它们 将 在 下 一 阶段 被 网 孔 编织 得 更 细小 的 捕虫 网 抓 住 。 








图 6-1 正式 审查 是 捕捉 飞 虫 的 第 一 张 网 
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”除了 发 现 问 题 ， 坚 持 正式 审查 还 有 一 些 间接 效果 : 
。 交流 。 正 式 报告 中 未 包含 的 信息 得 以 交流 。 例 如 ， 黑 盒 测 试 员 可 以 洞察 问题 所 在 。 缺 少 
经 验 的 程序 员 可 以 向 有 经 验 的 程序 员 学 习 新 技术 。 管 理 员 对 于 项 目 如 何 跟 上 进度 更 加 心 
中 有 数 。 
。 质量。 程序 员 的 代码 经 过 逐个 功能 、 逐 行 代码 仔细 复查 ,常常 会 使 程序 员 变 得 更 加 仔细 。 
这 不 是 说 他 粗心 大 意 一 一 只 是 说 如 果 他 知道 自己 的 工作 要 被 他 人 仔细 审查 ， 就 会 多 花 一 
些 心 思 保 证 正确 性 。 
。 小 组 同志 化 。 如 果 审 查 正 确 进行 , 就 会 建立 软件 测试 员 和 程序 员 对 双方 技艺 的 相互 尊重 ， 
并 且 更 好 地 了 解 相 互 的 工作 及 需求 。 
。 解 决 方案 。 尽 管 是 否 讨论 解决 方案 取决 于 审查 的 规则 ， 但 是 解决 方案 应 该 用 于 处 理 严 重 
问题 。 在 审查 的 范围 之 外 讨论 解决 方案 也 许 更 有 效 。 
这 些 间 接 好 处 虽然 不 可 依赖 ， 但 是 确实 存在 。 在 许多 小 组 中 ， 由 于 某 种 原因 ， 成 员 之 间 
自始至终 独立 工作 。 正 式 审查 是 把 大 家 聚 在 一 起 讨论 同一 个 项 目 问题 的 良机 。 


6.2.1 同事 审查 


召集 小 组 成 员 进 行 初次 正式 审查 最 简单 的 方法 是 通过 同事 审查 的 方式 。 这 是 要 求 最 低 的 
正式 方法 ， 有 时 称 为 伙 件 审查 。 这 处 方法 大 体 类 似 于 “如 果 你 给 我 看 你 的 ， 我 也 给 你 看 我 的 ” 
类 型 的 讨论 。 | 

同事 审查 常常 仅 在 编写 代码 或 设计 体系 结构 的 程序 员 ， 以 及 充当 审查 者 的 其 他 一 两 个 程 
序 员 和 测试 员 之 间 进 行 。 这 个 小 团体 只 是 在 一 起 审查 代码 ， 寻 找 问题 和 失误 。 为 了 保证 审查 
的 高 效率 (不致 流 于 休息 闲聊 ) ， 所 有 的 参与 者 要 切实 保证 正式 审查 的 4 个 关键 要 素 : 查找 问 
题 、 遵 守 规则 、 审 查 准备 和 编写 报告 。 因 为 同事 审查 是 非 正 式 的 ， 这 些 要 素 常常 大 打折 扣 。 
即便 如 此 ， 聚 集 起 来 讨论 代码 也 能 找 出 软件 缺陷 。 


6.2.2 走 查 


走 查 (Walkthrough) 是 比 同 事 审查 更 正规 化 的 下 一 步 。 走 查 中 编写 代码 的 程序 员 向 5 人 
小 组 或 者 其 他 程序 员 和 测试 员 组 成 的 小 组 做 正式 陈述 。 审 查 人 员 应 该 在 审查 之 前 接 到 软件 拷 
贝 ， 以 便 检查 并 编写 备注 和 问题 ， 在 审查 过 程 中 提问 。 审 查 人 员 之 中 至 少 有 一 位 资深 程序 员 
是 很 重要 的 。 

陈述 者 逐 行 或 者 逐个 功能 地 通读 代码 ， 解 释 代 码 为 什么 且 如 何 工 作 。 审 查 人 员 聆 听 叙 述 ， 
提出 有 疑义 的 问题 。 由 于 公开 陈述 的 参与 人 数 要 多 于 同事 审查 ， 因 此 ， 为 审查 做 好 准备 和 遵 
守 规 则 是 非常 重要 的 。 同 样 重要 的 是 审查 之 后 ， 表 述 者 编写 报告 说 明 发 现 了 哪些 问题 ， 计 划 
如 何 解决 发 现 的 软件 缺陷 。 


6.2.3 检验 


检验 (inspections) 是 最 正式 的 审查 类 型 ,. 具有 高 度 组 织 化 ， 要 求 每 一 个 参与 者 都 接受 训 
练 。 检 验 与 同事 审查 和 走 查 的 不 同 之 处 在 于 表述 代码 的 人 一 一 表述 者 (presenter) 或 者 宣读 者 
(reader) 不 是 原来 的 程序 员 。 这 就 迫使 他 学 习 和 了 解 要 表述 的 材料 ， 从 而 有 可 能 在 检验 
会 议 上 提出 不 同 的 看 法 和 解释 。 
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其 余 的 参与 者 称 为 检验 员 (inspector)， 其 职责 是 从 不 同 的 角度 ， 例 如 用 户 、 测 试 员 或 者 
产品 支持 人 员 的 角度 审查 代码 。 这 有 助 于 从 不 同 视角 来 审查 产品 ， 通 常 可 以 指出 不 同 的 软件 
人 缺陷。 检查 员 甚至 要 担负 着 倒 过 来 审查 代码 的 责任 一 一 也 就 是 说 ， 从 中 至 头 一 一 确保 材料 的 彻 
底 和 完整 。 

有 些 检验 员 还 同时 被 委任 为 会 议 协调 员 (moderator) 和 会 议 记 录 员 (recorder)， 以 保证 
检验 过 程 遵 守 规 则 及 审查 有 效 进 行 

召开 检验 会 议 之 后 ， 检 验 员 可 能 再 次 磁头 讨论 他 们 发 现 的 不 足 之 处 ， 并 与 会 议 协调 员 共 
同 准备 一 份 书面 报告 ， 明 确 解决 问题 所 必须 重 做 的 工作 。 然 后 程序 员 进 行 修改 ， 由 会 议 协 调 
员 验 证 修改 结果 。 根 据 修改 的 范围 和 规模 以 及 软件 的 关键 程度 ， 可 能 还 需要 进行 重新 检验 ， 
以 便 找到 其 余 的 软件 缺陷 。 

检验 经 证 实 是 所 有 软件 交付 内 容 中 ， 特 别 是 设计 文档 和 代码 中 发 现 软件 缺陷 非常 有 效 的 
方法 ， 随 着 公司 和 产品 开发 小 组 发 现 其 好 处 多 多 而 日 趋 流行 。 


6.3 编码 标准 和 规范 


在 正式 审查 中 ， 检 验 员 查找 代码 中 的 问题 和 缺漏 。 这 些 是 典型 的 言行 不 一 的 软件 缺陷 ， 
最 佳 方式 是 通过 仔细 代码 分 析 发 现 一 一 资深 程序 员 和 测试 员 很 善于 此 道 。 

还 有 一 些 问题 是 代码 虽然 可 以 正常 运行 ， 但 是 编写 不 符合 某 种 标准 或 规范 。 这 相当 于 写 
的 东西 可 以 被 人 理解 和 表述 观点 ， 但 是 不 符合 语言 的 语法 和 文法 规则 。 标 准 是 建立 起 来 、 经 
过 修补 和 必须 遵守 的 规则 一 一 做 什么 和 不 做 什么 。 规 范 是 建议 最 佳 做 法 、 推 荐 更 好 的 方式 。 
标准 没有 例外 情况 ， 缺 少 结构 化 的 放弃 步骤 。 规 范 就 要 松 一 些 。 

可 以 运行 ， 甚 至 在 测试 中 也 表现 稳定 的 一 些 软件 ， 因 为 不 符合 某 项 标准 而 仍然 被 认为 有 
问题 ， 真 是 令 人 感到 奇怪 。 然 而 ， 有 三 个 重要 的 原因 要 坚持 标准 或 规范 : 

。 可 靠 性 。 事 实证 明 按照 某 种 标准 或 规范 编写 的 代码 比 不 这 样 做 的 代码 更 加 可 靠 和 安全 。 

。 可 读 性 /维护 性 。 符 合 设备 标准 和 规范 的 代码 易于 阅读 、 理 解 和 维护 。 

。 移植 性 .代码 经 常 需要 在 不 同 的 硬件 中 运行 ， 或 者 使 用 不 同 的 编译 器 编译 。 如 果 代码 全 

合 设备 标准 ， 迁 移 到 另 一 个 平台 就 会 轻而易举 ， 甚 至 完全 没有 障碍 。 

项 目 要 求 可 能 从 严格 遵守 国家 或 国际 标准 的 ， 到 松散 符合 小 组 内 部 规范 的 ， 不 一 而 足 。 
重要 的 是 开发 小 组 在 编程 过 程 中 拥有 标准 和 规范 ， 并 且 这 些 标 准 和 规范 被 正式 审查 验证 。 


6.3.1 编程 标准 和 规范 示例 


图 6-2 给 出 了 一 个 针对 C 语 言 的 goto，while 和 if-else 语 句 的 编程 标准 示例 。 不 正确 
地 使 用 这 些 语 旬 常 常 导致 缺 陷 众多 的 代码 ， 大 多 数 编程 标准 显 式 设立 了 使 用 它们 的 规则 。 

标准 由 4 个 主要 部 分 组 成 : 

。 标题 。 描 述 标准 包含 的 主题 。 

。 标准 (或 者 规范 )。 描 述 标准 或 规范 内 容 ， 解 释 哪些 允许 哪些 不 允许 。 

。 解释 说 明 。 给 出 标准 背后 的 原因 ， 以 使 程序 员 理 解 这 为 什么 这 样 作 是 好 的 编程 习惯 。 

。 示例 。 给 出 如 何 使 用 标准 的 简单 程序 示例 。 这 不 是 必需 的 。 

图 6-3 是 一 个 针对 C++ 中 所 用 的 C 语 言 特性 的 规范 示例 。 注 意 语 言 的 细微 差别 。 在 本 例 中 ， 
它 一 开始 就 说 “设法 避免 "。 规 范 不 如 标准 严格 ， 因 此 在 碰 到 类 似 情 况 时 有 一 定 的 灵活 性 。 
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TOPIC: 3.05 Control-Restriction on control structures 


STANDARD 
The go to statement (and hence labeis as well) should not be used. 


The while loop should be used instead of the do-while 
loop, except where the logic of the problem explicit requires 
doing the body at least once regardiess of the loop condition. 


lfa single if-else can replace a continue, an lf-else 
should be used. 


JUSTIFICATION 

The go to statement is prohibited for the empirical reason that 
its use is highiy correlated with errors and hare-to-read code, 
and for the abstract reason that algorithms should be 
expressed in structures that facilitate checking the program 
against the structure of the underlying process. 


The do-while is discouraged because toops should be coded 
in such a form as to "do nothing gracefully", i.e. they should 
test their looping condition before executing the body. 





图 6-2 编码 标准 示例 解释 说 明了 一 些 语言 控制 结构 的 用 法 (取材 于 Thomas Plum 和 Dan Saks 著 ， 
Plum Hall 公 司 1991 年 出 版 的 《C++Programming Guidelines》) 


TOPIC: 7.02 C_ problems - Problem areas from C 


GUIDELINE 

Ty to avoid C language features if a confiict with 

programming in C++ 

1. Do not use setjmp and longjmp if there are any 

objects with destructors which could be created} 
between the execution of the setjmp and the 
longjmp. 
Do not use the offsetof macro except when 
applied to members of just-a-struct. . 
Do not mix C-style FILE VO (using stdio.h) with 


C++ style MO (using lostream.h or stream.h) on 
the same file. 
Avoid using C functions like memcpy or memcap for 
copying or comparing objects of a type other than 
array-of-char or just-a-struct. 

5. Avoid the C macro NULL:; use 0 instead. 


JUSTIFICATION 
Each of these features concerns an area of traditional C usage 
which creates some problem in C++. 





图 6-3 说 明 在 C++ 中 如 何 使 用 某 些 C 语 言 特 性 的 编程 规范 示例 。( 取材 于 Thomas Plum 和 Dan Saks 著 ， 
Plum Hall 公 司 1991 年 出 版 的 《C++Programming Guidelines》) 
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这 是 风格 问题 

有 标准 ， 有 规范 ， 然 后 就 有 风格 。 从 软件 质量 和 测试 的 角度 看 ， 风 格 不 是 问题 。 

每 一 个 程序 员 ， 就 像 节 的 作者 和 艺术 家 一 样 ， 都 有 自己 独特 的 风格 。 虽 然 规则 要 
遵守 ， 语 言 用 法 要 一 致 ， 但 是 软件 的 编写 者 仍然 很 容易 辨认 。 

不 同 之 处 是 风格 。 在 编程 中 ， 风 格 可 能 是 注释 的 完 长 程度 和 变量 命名 习惯 ， 还 可 
能 是 循环 结构 选择 哪 一 种 缩 排 的 方式 。 风 格 是 代码 的 外 表 和 感觉 。 

有 些小 组 制定 代码 风格 方面 的 标准 和 规范 《例如 代码 的 缩 进 ) ， 使 代码 从 外 表 和 
感觉 看 起 来 都 不 太 随意 。 软 件 测试 员 注 意 ， 在 对 软件 进行 正式 审查 时 ， 测 试 和 注解 的 
对 象 仅 限于 错误 和 缺漏 ， 而 不 管 是 否 坚持 标准 或 者 规范 。 仔 细 想 一 下 要 报告 的 内 容 确 
实 是 问题 ， 还 仅仅 是 不 同意 见 、 不 同 风 格 。 后 者 不 是 软件 缺陷 。 


6.3.2 获取 标准 


如 果 项 目 由 于 自身 性 质 必 须 符合 一 组 编程 标准 ， 或 者 只 是 有 兴趣 检查 软件 代码 ， 看 它 与 
公开 发 行 的 标准 或 者 规范 的 符合 程度 ， 有 一 些 资源 可 供 参 考 。 

大 多 数 计算 机 语言 和 信 ， 自 技术 的 国家 和 国际 标准 可 以 通过 以 下 站 点 获得 : 

。 美国 国家 标准 学 会 (ANSI): www.ansi.org 

。 国际 工程 协会 (IEC): www.iec.org 

e 国际 标准 化 组 织 (ISO ): www.iso.ch 

”ee 信息 技术 标准 国家 委员 会 (NCITS): www.ncits.org 
以 下 专业 组 织 还 提供 演示 程序 规范 和 最 佳 实践 的 文档 ; 

e 美国 计算 机 协会 (ACM): www.acm.org 

。 电子 电气 工程 学 会 (IEEE ): www.ieee.org 

还 可 以 向 销售 编程 工具 软件 的 供 货 商 索取 信息 。 他 们 通常 有 出 版 的 标准 和 规范 ， 一 般 不 
收费 ， 最 多 收 少量 的 费用 。 


6.4 通用 代码 审查 清单 


本 章 余 下 部 分 讲述 关于 静态 白 盒 测 试 在 正式 审查 中 验证 软件 应 该 查找 的 问题 。 这 些 清 单 ” 
是 将 代码 与 标准 或 规范 比较 ， 确 保 代码 符合 项 目的 设计 要 求 。 

为 了 真正 理解 和 运用 这 些 清 单 ， 需 要 具有 一 些 编程 经 验 。 如 果 没 有 做 过 多 少 编程 ， 最 好 
先 读 一 本 入 门 书 ， 例 如 Sams 出 版 社 出 版 的 《Sams Teach Yourself Beginning Programming in 24 
Hours》， 然 后 才能 详细 审查 程序 代码 。 


6.4.1 数据 引用 错误 


数据 引用 错误 是 指使 用 未 经 正确 声明 和 初始 化 的 变量 、 常量 、 数组 、 字 符 串 或 记录 而 导 
致 的 软件 缺陷 。 
。 是否 引用 了 未 初始 化 的 变量 ? 查找 遗漏 之 处 与 查找 错误 同等 重要 ， 


昌 ”这 些 清 单条 目 取 材 于 《Software Testing in the Real World: Improving the Process》 一 书 第 198~201 页 。 
Edward kit 1995 年 。 
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。 数 组 和 字符 串 的 下 标 是 整数 值 吗 ? 下 标 总 是 在 数组 和 字符 串 长 度 范围 之 内 吗 ? 

。 在 检索 操作 或 者 引用 数组 下 标 时 是 否 包 含 “ 丢 掉 一 个 ”这 样 的 潜在 错误 ? 不 要 忘 了 第 5 
章 表 5-1 中 的 代码 。 

。 是 否 在 应 该 使 用 常量 的 地 方 使 用 了 变量 一 一 例如 在 检查 数组 边界 时 ? 

。 变量 是 否 被 赋予 不 同类 型 的 值 ? 例如 ， 无 意 中 使 代码 为 整形 变量 赋予 一 个 浮 点 数值 ? 

。 为 引用 的 指针 分 配 内 存 了 吗 ? ， 

。 一 个 数据 结构 是 否 在 多 个 函数 或 者 子 程序 中 引用 ， 在 每 一 个 引用 中 明确 定义 结构 了 吗 ? 


注意 数据 引用 错误 是 丝 冲 区 溢出 的 主要 原因 一 一 一 个 造成 许多 软件 安全 问题 的 缺陷 。 
第 13 章 “软件 安全 性 测试 ”将 更 详细 地 讨论 该 问题 。 


6.4.2 数据 声明 错误 


数据 声明 缺陷 产生 的 原因 是 不 正确 地 声明 或 使 用 变量 和 常量 。 

e 所 有 变量 都 赋予 正确 的 长 度 、 类 型 和 存储 类 了 吗 ? 例如 ， 本 应 声明 为 字符 串 的 变量 声明 
为 字符 数组 了 吗 ? 

。 变 量 是 否 在 声明 的 同时 进行 了 初始 化 ? 是 否 正确 初始 化 并 与 其 类 型 一 致 ? 

。 变量 有 相似 的 名 称 吗 ? 这 基本 上 不 算 软 件 缺 陷 ， 但 有 可 能 是 程序 中 其 他 地 方 出 现 名 称 混 
消 的 信息 。 

。 存在 声明 过 、 但 从 未 引用 或 者 只 引用 过 一 次 的 变量 吗 ? 

。 所 有 变量 在 特定 模块 中 都 显 式 声 明了 吗 ? 如 果 没 有 ， 是 否 可 以 理解 为 该 变量 与 更 高 级 别 
的 模块 共享 ? 


6.4.3 计算 错误 


计算 或 者 运算 错误 实质 上 是 糟糕 的 数学 问题 。 计 算 无 法 得 到 预期 结果 。 

。 计算 中 是 否 使 用 了 不 同 数据 类 型 的 变量 ， 例 如 将 整数 与 浮 点 数 相 加 ? 

。 计算 中 是 否 使 用 了 类 型 相同 但 长 度 不 同 的 变量 一 一 例如 ， 将 字 节 与 字 相 加 ? 

。 计算 时 是 否 了 解 和 考虑 到 编译 器 对 类 型 或 长 度 不 一 致 的 变量 的 转换 规则 ? 

。 赋值 的 目的 变量 是 否 小 于 赋值 表达 式 的 值 ? 

。 在 数值 计算 过 程 中 是 否 可 能 出 现 溢出 ? 

。 除数 / 模 是 否 可 能 为 零 ? 

。 对 于 整 型 算术 运算 ， 处 理 某 些 计算 (特别 是 除法 ) 的 代码 是 否 会 导致 精度 丢失 ? 

。 变量 的 值 是 否 超过 有 意义 的 范围 ? 例如 ， 可 能 性 的 计算 结果 是 否 小 于 0% 或 者 大 于 
100%? 

。 对 于 包含 多 个 操作 数 的 表达 式 ， 求 值 的 次 序 是 否 混乱 ， 运 算 优先 级 对 吗 ? 需要 加 括号 使 
其 清晰 吗 ? 


6.4.4 比较 错误 


小 于 、 大 于 、 等 于 、 不 等 于 、 真 、 假 。 比 较 和 判断 错误 很 可 能 是 由 于 边界 条 件 问题 。 
。 比较 得 正确 吗 ? 虽然 听 起 来 简单 ， 但 是 比较 应 该 是 小 于 还 是 小 于 或 等 于 常常 发 生 混淆 。 
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。 存在 分 数 或 者 浮 点 值 之 间 的 比较 吗 ? 如 果 有 ， 精 度 问题 会 影响 比较 吗 ? 1.00000001 和 
1.00000002 极 其 接近 ， 它 们 相等 吗 ? 

。 每 一 个 逻辑 表达 式 都 正确 表达 了 吗 ? 逻辑 计算 按 预计 的 进行 了 吗 ? 求 值 次 序 有 疑问 吗 ? 

。 逻辑 表达 式 的 操作 数 是 逻辑 值 吗 ? 例如 ， 是 否 包含 整 数值 的 整 型 变量 用 于 逻辑 计算 中 ? 


6.4.5 控制 流程 错误 


控制 流程 错误 的 原因 是 编程 语言 中 循环 等 控制 结构 未 按 预期 方式 工作 。 它 们 通常 由 计算 
或 者 比较 错误 直接 或 间接 造成 。 

。 如 果 程 序 包 含 begin. . .end 和 do . . .while 等 语句 组 ，end 是 否 明 确 给 出 并 与 语句 组 

对 应 ? 

。 程序 、 模 块 、 子 程序 和 循环 能 否 终止 ?如果 不 能 ， 可 以 接受 吗 ? 

e 可 能 存在 永远 不 停 的 循环 吗 ? 

。 循环 是 否 可 能 永 不 执行 ? 如 果 是 这 样 ， 可 以 接受 吗 ? 

。 如 果 程 序 包含 像 switch. . .case 语 句 这 样 的 多 个 分 支 ， 索引 变量 能 超出 可 能 的 分 支 数 

目 吗 ? 如 果 超 出 ， 该 情况 能 正确 处 理 吗 ? 

e 是 否 存 在 “丢掉 一 个 ”错误 ， 导 致 循环 意外 的 流程 ? 


6.4.6 子 程序 参数 错误 


子 程序 参数 错误 的 来 源 是 软件 子 程序 不 正确 地 传递 数据 。 

e。 子 程序 接收 的 参数 类 型 和 大 小 与 调用 代码 发 送 的 匹配 吗 ? 次 序 正确 吗 ? 
。 如 果子 程序 有 多 个 入 口 点 ， 引 用 的 参数 是 否 与 当前 入 口 点 没有 关联 ? 
。 常量 是 否 当做 形 参 传递 ， 在 子 程序 中 被 意外 改动 ? 

。 子 程序 更 改 了 仅 作为 输入 值 的 参数 吗 ? 

。 每 一 个 参数 的 单位 是 否 与 相应 的 形 参 匹配 一 一 例如 ， 英 跨 对 米 ? 

。 如 果 存 在 全 局 变量 ， 在 所 有 引用 子 程序 中 是 否 有 相同 的 定义 和 属性 ? 


6.4.7 输入 /输出 错误 


输入 /输出 错误 包括 文件 读 取 、 接 受 键盘 或 者 鼠标 输入 以 及 向 打印 机 或 者 屏幕 等 输出 设备 
写 入 错误 。 下 列 条 目 非常 简单 、 通 用 ， 应 该 在 使 用 时 补充 ， 以 涵盖 所 测试 的 软件 。 

。 软件 是 否 严 格 遵守 外 部 设备 读 写 数据 的 专用 格式 ? 

。 文件 或 者 外 设 不 存在 或 者 未 准备 好 的 错误 情况 有 处 理 吗 ? 

。 软件 是 否 处 理 外 部 设备 未 连接 、 不 可 用 ， 或 者 读 写 过 程 中 存储 空间 占 满 等 情况 ? 

。 软 件 以 预期 方式 处 理 预计 的 错误 吗 ? 

。 检查 错误 提示 信息 的 准确 性 、 正 确 性 、 语 法 和 拼写 了 吗 ? 


6.4.8 其 他 检查 


这 个 压轴 清单 定义 了 一 些 不 适合 放 在 其 他 类 别 的 条 上 且 。 这 不 是 为 了 完整 ， 而 是 提示 为 定 
制 软件 项 目 清 单 应 该 加 入 的 内 容 。 
。 软 件 是 否 使 用 其 他 外 语 ? 是 否 处 理 扩展 ASCIH 字 符 ? 是 否 需 要 用 统一 编码 取代 ASCII 
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。 软件 是 否 要 移植 到 其 他 编译 器 和 CPU， 上 有 具有 这 样 做 的 许可 吗 ? 如 果 没 有 计划 或 者 测试 ， 
那么 ， 移 植 性 可 能 成 为 一 个 大 难题 。 

。 是 否 考 虑 了 兼容 性 ， 以 使 软件 能 够 运行 于 不 同 数 量 的 可 用 内 存 、 不 同 的 内 部 硬件 〈 例 如 
图 形 和 声卡 )、 不 同 的 外 设 〈 例 如 打印 机 和 调制 解 调 器 ) ? 

。 程序 编译 是 否 产生 “警告 ”或 者 “提示 ”信息 ? 这 些 信 息 通 常 指示 进行 了 有 疑问 的 处 理 。 
纯粹 主义 者 可 能 认为 警告 信息 是 不 可 接受 的 。 


6.5 小 结 


检查 代码 一 一 静态 白 盒 测 试 一 一 被 证 实 是 早期 发 现 软件 缺陷 最 有 效 的 方法 。 虽 然 这 是 一 项 
需要 大 量 准备 工作 才能 有 成 效 的 任务 ， 但 是 许多 研究 表明 花费 的 时 间 与 得 到 的 好 处 相 比 是 值 
得 的 。 为 了 使 这 项 任务 更 有 吸引 力 ， 现 在 有 了 能 自动 执行 大 量 静 态 白 盒 测 试 工作 的 商业 软件 ， 
即 静态 分 析 程序 。 读 程序 读 人 程序 的 源 文件 ， 并 根据 公开 标准 和 自 定义 规范 进行 检查 。 编 译 
器 也 提高 了 能 力 ， 如 果 启 用 所 有 等 级 的 错误 检查 ， 它 将 捕捉 到 前 面 通用 代码 审查 清单 列 出 的 
许多 问题 ， 有 些 编译 器 甚至 不 允许 使 用 具有 安全 问题 的 函数 。 这 些 工具 不 是 取消 代码 审查 或 
者 检查 任务 一 一 只 是 使 任务 更 容易 完成 ， 并 给 软件 测试 员 更 多 时 间 来 挖掘 更 深 的 软件 缺陷 。 

如 果 开发 小 组 没有 在 这 一 级 进行 测试 ， 而 你 具有 一 些 编程 经 验 的 话 ， 就 可 以 把 测试 想像 为 
调查 过 程 。 程 序 员 和 经 理 开始 可 能 有 顾 虚 ， 不 知道 好 处 有 多 大 一 一 这 很 难说 出 来 ， 比 如 在 检验 
期 间 发 现 一 个 软件 缺陷 比 一 个 月 之 后 在 黑 盒 测试 期 间 发 现 它 可 以 为 项 目 节省 5 天 时 间 。 然 而 ， 
静态 白 盒 测 试 正 在 受到 重视 ， 而 在 某 些 开发 过 程 中 ， 没 有 它 ， 项 目 就 无 法 得 到 可 靠 的 软件 。 


6.6 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 

1. 说 出 进行 静态 白 盒 测试 的 几 个 好 处 。 

2. 判断 是 非 : 静态 白 盒 测 试 可 以 找 出 遗漏 之 处 和 问题 。 

3. 正式 审查 由 哪些 关键 要 素 组 成 ? 

4. 除了 更 正式 之 外 ， 检 验 与 其 他 审查 类 型 有 什么 重大 差别 ? 

5. 如 果 要 求 程序 员 在 命名 变量 时 只 能 使 用 8 个 字符 并 且 首 字母 必须 采用 大 写 的 形式 ， 那 么 
这 是 标准 还 是 规范 呢 ? 

6. 你 会 采用 本 章 的 代码 审查 清单 作为 项 目 小 组 验证 代码 的 标准 吗 ? 

7. 缓冲 区 溢出 错误 作为 一 个 常见 的 安全 问题 属于 哪 一 级 错误 ? 是 由 什么 原因 引起 的 ? 





第 7 章 
调 上 和 光 有 眼镜 测试 软件 


第 二 部 分 “测试 基础 ”进行 到 这 里 ， 我 们 已 经 学 会 了 4 个 基本 测试 技术 之 中 的 3 个 : 静态 
黑 盒 (测试 产品 说 明 书 )、 动 态 黑 盒 ( 测 试 软件 ) 和 静态 白 例 (检查 程序 代码 )。 本 章 我 们 将 
学 习 第 4 个 基本 测试 技术 一 一 动态 白 盒 测试 。 在 测试 软件 时 ， 我 们 将 利用 X 光 眼镜 洞察 软件 的 
“盒子 ”里 面 。 

除了 X 光 本 身 的 含义 ， 还 要 充当 程序 员 一 一 如 果 能 够 胜任 的 话 。 如 果 没 有 ， 也 不 要 害怕 。 
本 章 使 用 的 示例 并 不 复杂 ， 花 一 点 时 间 就 可 以 领会 。 即 使 只 掌握 此 类 测试 的 皮毛 ， 都 会 成 为 
更 高 效 的 黑 盒 测试 员 。 

如 果 具 有 一 些 编程 经 验 ， 本 章 可 以 作为 步 入 广阔 测试 领域 的 敲门砖 。 大 多 数 公司 聘用 软 
件 测试 员 主 要 是 为 了 进行 软件 的 底层 测试 。 他 们 在 寻找 同时 具有 编程 和 测试 技术 的 人 ， 这 是 
难得 一 见 的 。 

本 章 的 重点 包括 : 

。 什么 是 动态 白 盒 测 试 

。 调试 和 动态 白 盒 测试 之 间 的 区 别 

。 单元 和 集成 测试 是 什么 

。 如 何 测试 底层 功能 

。 底 层 测 试 所 需 的 数据 范围 

e 如 何 强制 软件 以 某 种 方式 运行 

。 衡量 测试 完整 性 的 各 种 方法 


7.1 动态 白 盒 测 试 


至 此 ， 我 们 应 该 相当 熟悉 静态 、 动 态 、 和 白金 和 黑 侈 等 术语 了 。 既 然 本 章 是 关于 动态 白 盒 测 
试 ， 就 一 定 会 讲述 关于 该 技术 的 内 容 。 由 于 是 动态 的 ， 就 一 定 是 测试 运行 中 的 程序 ， 由 于 是 白 
盒 ， 就 一 定 要 洞察 盒子 里 面 ， 检 查 代码 并 观察 运行 状况 。 这 好 像 是 带 上 光 眼 镜 测 试 软件 。 

用 一 句 话 来 概括 ， 动 态 白 盒 测 试 是 指 利用 查看 代码 功能 (做 什么 ) 和 实现 方式 (怎么 做 ) 
得 到 的 信息 来 确定 哪些 需要 测试 、 哪 些 不 要 测试 、 如 何 开 展 测 试 。 动 态 白 盒 测试 的 另 一 个 常 
用 名 称 是 结构 化 测试 (structural testing ) ， 因 为 软件 测试 员 可 以 查看 并 使 用 代码 的 内 部 结构 ， 
从 而 设计 和 执行 测试 。 

为 什么 了 解 盒子 内 部 情况 和 软件 工作 方式 有 好 处 呢 ? 参见 图 7-1。 该 图 给 出 了 执行 加 减 乘 
除 基 本 运算 操作 的 两 个 盒子 。 
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250*(1+0.015)*((1 +0.01 5})360-1)/0.015 250°(1+0.015)*((1+0.015)360-1)/0.015 





3581322.293419985680302829734315 ?33333?23333333332 
图 7-1 假如 知道 一 个 盒子 包含 一 台 计 算 机 ， 而 另 一 个 盒子 是 人 用 纸 笔 计算 ， 就 会 选择 不 同 的 测试 用 例 


如 果 不 知 道 盒子 的 工作 方式 ， 就 会 运用 第 5 章 “ 带 上 眼罩 测试 软件 ”所 讲 的 动态 黑 盒 测试 
技术 。 但 是 ， 如 果 看 到 盒子 内 部 ， 发 现 一 个 盒子 包含 一 台 计 算 机 ， 而 另 一 个 盒子 包含 拿 纸 笔 
的 人 ， 就 会 选择 完全 不 同 的 测试 方法 。 当 然 ， 这 是 一 个 过 于 简单 化 的 例子 ， 但 是 它 恰 如 其 分 
地 说 明了 解 软件 的 运作 方式 对 测试 手段 的 影响 。 

动态 白 盒 测试 不 仅仅 是 查看 代码 的 运行 情况 ， 还 包括 直接 测试 和 控制 软件 。 动 态 白 盒 测 
试 包括 以 下 4 个 部 分 : 

。 直接 测试 底层 函数 、 过 程 、 子 程序 和 库 。 在 Microsoft Windows 中 这 称 为 应 用 程序 编程 

接口 (API)。 

。 以 完整 程序 的 方式 从 顶层 测试 软件 ， 但 是 根据 对 软件 运行 的 了 解 调整 测试 用 例 。 

。 从 软件 获得 读 取 变量 和 状态 信息 的 访问 权 ， 以 便 确定 测试 与 预期 结果 是 否 相 符 ， 同 时 ， 

强制 软件 以 正常 测试 难以 实现 的 方式 运行 。 

。 估算 执行 测试 时 “命中 ”的 代码 量 和 具体 代码 ， 然 后 调整 测试 ， 去 掉 多 余 的 测试 用 例 ， 

补充 遗漏 的 用 例 。 

本 章 余 下 部 分 讨论 以 上 各 部 分 。 了 阅读 的 同时 ， 请 思考 怎样 用 它们 来 测试 我 们 熟悉 的 软件 。 


7.2 动态 白 盒 测 试 和 调试 


一 定 不 要 把 动态 白 盒 测 试 和 调试 (debugging) 弄 混 了 。 做 过 编程 的 人 可 能 会 花费 大 量 时 
间 调 试 自己 编写 的 代码 。 这 两 项 技术 表面 上 很 相似 ， 因 为 它们 都 包括 处 理 软 件 缺 陷 和 查看 代 
码 的 过 程 ， 但 是 它们 的 目标 大 不 相同 ( 见 图 7-2)。 





测试 编程 


动态 白 盒 测试 分 离 缺 陷 


图 7-2 动态 白 盒 测试 和 调试 有 不 同 的 目标 ， 但 是 其 中 有 交叉 现象 
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动态 白 盒 测试 的 目标 是 寻找 软件 缺陷 ， 调 试 的 目标 是 修复 缺陷 。 然 而 ， 它 们 在 隔离 软件 
缺陷 的 位 置 和 原因 上 确实 存在 交叉 现象 。 第 19 章 “报告 发 现 的 问题 ”将 详细 讲述 这 一 点 ， 但 
眼前 要 考虑 的 是 这 方面 的 交 又 。 软 件 测 试 员 应 该 把 问题 缩减 为 能 够 演示 软件 缺陷 的 最 简化 测 
试用 例 。 如 果 是 白 盒 测试 ， 甚 至 还 要 包括 那些 值得 怀疑 的 代码 行 信息 。 进 行 调试 的 程序 员 从 
这 里 继续 ， 判 断 到 底 是 什么 导致 软件 缺陷 ， 并 设法 修复 。 


注意 ”执行 这 些 底层 的 测试 ， 会 用 到 许多 和 程序 员 使 用 的 相同 的 工具 。 如 果 程 序 编译 
过 ， 可 能 会 使 用 相同 的 编译 器 ， 但 是 设置 上 可 能 不 一 样 ， 以 更 好 地 检测 缺陷 为 目标 。 
可 能 会 使 用 代码 级 的 调试 器 来 单 步 跟 踪 程 序 ， 观 察 变量 ， 设 置 断 点 ， 等 等 。 也 可 能 自 
己 编写 程序 来 分 别 测试 需要 检查 的 模块 代码 。 


7.3 分 段 测 试 


回顾 第 2 章 “ 软 件 开发 的 过 程 ”所 讲 的 几 种 软件 开发 模式 。 大 爆炸 模式 是 最 简单 的 ， 但 也 
是 最 混乱 的 。 所 有 的 程序 一 下 子 堆 在 一 块 ， 期 待 奇迹 出 现 。 开 发 小 组 希 必 各 部 分 都 没 问 题 ， 
并 且 会 形成 一 个 产品 。 现 在 可 以 断言 ， 在 这 种 模式 下 进行 测试 是 非常 困难 的 。 最 多 可 以 进行 
动态 黑 盒 测试 ， 把 这 个 准 产品 当做 一 团 烂泥 并 在 其 中 摸索 着 看 能 找 出 点 什么 。 

我 们 已 经 知道 这 种 测试 的 费用 很 高 ， 因 为 软件 缺陷 是 在 最 后 关头 才 发 现 的 。 从 测试 的 角 
度 看 ， 产 生 高 额 费用 有 如 下 两 个 原因 : 

。 难以 ， 有 了 时 其 至 不 可 能 找 出 导致 问题 的 原因 。 软 件 好 比 是 一 台 无 法 工作 的 笨重 机 器 一 一 

在 一 侧 投下 一 个 球 ， 但 是 另 一 侧 并 没有 出 现 黄油 吐 司 和 热 咖 啡 ， 无 法 知道 是 哪个 小 零件 

坏 了 ， 导 致 整个 装置 的 失败 。 

。 某 些 软件 缺陷 掩盖 了 其 他 软件 缺陷 。 测 试 可 能 失败 。 程 序 员 自行 调试 问题 并 修复 ,但 是 

当 重 新 测试 时 ， 软 件 依然 失败 。 太 多 问题 一 个 摆 一 个 ， 核 心 错误 很 难 弄 清 。 


7.3.1 单元 测试 和 集成 测试 


解决 上 述 麻 烦 的 方法 当然 是 开始 就 不 让 它 发 生 。 如 果 代码 分 段 构建 和 测试 ， 最 后 合 在 一 
起 形成 更 大 的 部 分 ， 那 么 整个 产品 无 疑 会 链接 在 一 起 ( 见 图 7-3)。 





图 7-3 独立 代码 段 分 别 建立 和 测试 ， 然 后 集成 并 再 测试 
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在 底层 进行 的 测试 称 为 单元 测试 (unit testing) 或 者 模块 测试 (module testing)。 单 元 经 
过 测试 ， 底 层 软件 缺陷 被 找 出 并 修复 之 后 ， 就 集成 在 一 起 ， 对 模块 的 组 合 进行 集成 测试 
(integration testing )。 这 个 不 断 增加 的 测试 过 程 继续 进行 ， 加 入 越 来 越 多 的 软件 片段 ， 直 至 整 
个 产品 一 一 至 少 是 产品 的 主要 部 分 一 一 在 称 为 系统 测试 (system testing) 的 过 程 中 一 起 测试 。 

采取 这 种 测试 策略 很 容易 隔离 软件 缺陷 。 在 单元 级 发 现 问题 时 ， 问 题 肯 定 就 在 那个 单元 
中 。 如 果 在 多 个 单元 集成 时 发 现 软件 缺陷 ， 那 么 它 一 定 与 模块 之 间 的 交互 有 关 。 当 然 也 有 例 : 
外 ， 但 是 总 的 说 来 ， 测 试 和 调试 比 一 起 测试 所 有 内 容 要 有 效 得 多 。 

这 种 递增 测试 有 两 条 途径 : 自 底 向 上 (bottom-up) 和 自 顶 向 下 (top-down)。 在 自 底 向 上 
测试 中 ( 见 图 7-4)， 要 编写 称 为 测试 驱动 的 模块 调用 正在 测试 的 模块 。 测 试 驱动 模块 以 和 将 
来 真正 模块 同样 的 方式 挂 接 ， 向 处 于 测试 的 模块 发 送 测 试用 例 数据 ， 接 受 返回 结果 ， 验 证 结 
果 是 否 正确 。 采 取 这 种 方式 ， 可 以 对 整个 软件 进行 非常 全 面 的 测试 ， 为 它 提 供 全 部 类 型 和 数 
量 的 数据 ， 甚 至 高 层 难以 发 送 的 数据 。 








实际 配置 测试 驱动 配置 
图 7-4 测试 驱动 可 以 代替 实际 软件 ， 对 底层 模块 进行 更 有 效 的 测试 
自 顶 向 下 测试 有 点 像 小 规模 的 大 爆炸 测试 。 毕 竟 ， 如 果 更 高 层 软件 已 经 完成 ， 测 试 其 下 
层 的 模块 就 一 定 太 晚 了 ， 对 吗 ?” 其 实 并 不 完全 正确 。 请 看 图 7-5。 在 该 例 中 ， 底 层 接 口 模块 用 
于 从 电子 温度 计 采 集 温度 数据 。 显 示 模 块 正好 在 此 接口 模块 的 上 面 ， 从 该 接口 读 取 数 据 ， 向 
用 户 显示 结果 。 为 了 测试 高 层 显示 模块 ; 就 需要 借助 火把 、 水 、 冰 和 深度 的 冻结 来 改变 传 感 
器 的 温度 ， 并 将 数据 传递 到 导线 上 。 


温度 显示 模块 
温度 计 接口 
模块 
温度 值 的 测试 
六 件 


实际 配置 测试 柱 的 配置 
图 7-5 测试 桩 向 处 于 测试 的 模块 发 送 数 据 


被 测试 的 温度 
显示 模块 






测试 员 编写 
的 桩 
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与 其 通过 设法 控制 温度 计 的 温度 来 测试 温度 显 示 模块 ， 不 如 编写 一 小 段 称 为 柱 (Stub) 
的 代码 充当 接口 模块 ， 从 文件 中 把 温度 值 直 接 提供 给 显示 模块 。 显 示 模 块 将 会 读 取 数据 并 显 
示 温 度 ， 就 像 直 接 从 实际 温度 计 接口 模块 中 读 取 数据 一 样 。 它 不 可 能 有 何不 同 。 有 了 这 个 测 
试 桩 配置 ， 就 可 以 快速 从 头 到 尾 试验 各 种 测试 值 ， 验 证 显示 模块 的 操作 。 


7.3.2 单元 测试 示例 


许多 编译 器 会 提供 一 个 把 ASCII 字 符 转换 为 整数 值 的 常用 函数 。 

该 函数 接收 一 串 带 正 负 号 的 数字 或 者 空格 、 字 母 等 特殊 字符 ， 将 其 转换 为 数值 一 一 例如 字 
符 “12345” 转 换 为 数字 12，345。 这 是 用 于 处 理 用 户 在 对 话 框 中 输入 值 的 一 个 相当 常用 的 函 
数 一 一 例如 ， 某 人 的 年 龄 或 者 财务 账目 。 

执行 该 操作 的 C 语 言 函 数 是 atoiO ， 表 示 “ 把 ASCII 字 符 转 换 为 整数 "。 图 7-6 给 出 了 该 函数 
的 说 明 。 如 果 不 是 C 程 序 员 ， 也 不 需 气 角 。 除 了 第 1 行 是 说 明 如 何 调用 函数 的 ， 其 他 部 分 说 明 
采用 英语 ， 可 以 用 来 为 任何 计算 机 语言 定义 同样 的 函数 。 


int atoi (const char *string) ; 
The ASCllto integer function converts a string to an integer. 


Return Value : 

The function returns the integer value produced by interpreting the input 
characters as a number The return value is 0 if the input carinot be 

converted to an integer value. The return value is undefined in case of overflow. 


Input Parameter 
stri 
String to be converted 


Remarks 

The Input string is a sequence of characters that can be interpreted as a 
numericai value. The function stops reading the input string at the first 
character that it cannot recognize as part of a number. This character may be . 
the null character (\0') termination the string. 


The string parameter for this function has the form: 
[whitespace} [sgn] digits 


A whitespace consists of space and/or tab characters, which are ignored; 
sign is either plus (+) or minus (-) ; and digits are one or more decimal digits. 
The fu does not recognize decimal points, exponents or any other 


character not mentioned above. 





图 7-6 C 语 言 atoi0 函 数 的 说 明 页 


如 果 作 为 软件 测试 员 受 命 对 该 模块 进行 动态 白 盒 测 试 ， 该 怎么 办 ? 

首先 可 以 确定 该 模块 属于 程序 中 的 底层 模块 ， 可 以 由 高 层 模块 调用 ， 但 是 自己 不 能 调用 
其 他 模块 。 通 过 查看 内 部 代码 可 以 确认 这 一 点 。 如 果 是 这 样 ， 合 理 的 做 法 是 编写 一 个 测试 驱 
动 以 独立 于 程序 其 他 部 分 的 形式 测验 该 模块 。 

测试 驱动 将 向 atoi0 函 数 发 送 创建 好 的 测试 字符 申 ， 读 取 这 些 字符 串 的 返回 值 ， 与 预期 结 
果 相 比较 。 测 试 驱动 完全 可 以 用 与 函数 相同 的 语言 编写 一 在 本 例 中 ， 用 C 语 言 一 -但 是 用 其 
他 语言 编写 也 可 以 ， 只 要 能 够 与 测试 模块 接口 即 可 。 
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测试 驱动 可 以 有 多 种 形式 ， 可 以 是 如 图 7-7 所 示 的 简单 对 话 框 ， 用 于 输入 测试 字符 串 并 查 
看 结果 ; 也 可 以 是 从 文件 读 取 测试 字符 串 和 预期 结果 的 独立 
程序 。 由 用 户 驱 动 的 对 话 框 的 交互 性 和 灵活 性 强 一 -可 以 用 
来 进行 黑 盒 测 试 。 而 独立 驱动 可 以 极其 快速 地 直接 从 文件 读 
写 测试 用 例 。 

下 一 步 要 分 析 说 明 书 ， 确 定 应 该 采用 的 黑 盒 测 试用 例 ， 
然后 运用 等 价 类 划分 技术 减少 测试 用 例 集合 (还 记得 第 5 章 ”一 一 
吗 ? )。 表 7-1 列 出 了 一 些 包 含 输入 字符 串 和 预期 输出 值 的 测 ”图 7-7 对 话 框 测 试 驱动 可 以 用 于 向 
试用 例 。 该 表 不 是 完整 的 清单 。 被 测试 的 模块 发 送 测 试用 例 


表 7-1 _ ASCII 字 符 转换 为 整数 的 测试 用 例 示例 








输入 字符 串 输出 整数 值 


和 
名 
= 
© 

忆 串口 





最 后 ， 研 究 代码 看 函数 是 如 何 实现 的 ， 利 用 模块 的 白 盒 知识 增 减 测试 用 例 。 


注意 ”在 进行 白 盒 测试 之 前 ， 一 定 要 根据 说 明 书 建立 黑 盒 测试 用 例 。 用 这 种 方式 可 以 
真正 测试 模块 的 功能 和 作用 。 如 果 先 从 模块 的 白 盒 角度 建立 测试 用 例 ， 检 查 代码 ， 就 
会 偏向 于 以 模块 工作 方式 建立 测试 用 例 。 程 序 员 或 许 误解 了 说 明 ， 于 是 测试 用 例 就 会 
不 对 。 虽 然 测 试用 例 精确 完整 地 测试 了 模块 ， 但 是 可 能 不 准确 ， 因 为 没有 测试 预期 的 
操作 。 


根据 白 盒 知 识 增 减 测试 用 例 其 实 是 根据 程序 内 部 的 信息 对 等 价 划 分 的 进一步 提炼 。 原 来 
的 黑 盒 测试 用 例 可 能 认为 内 部 ASCII 表 会 把 “a123” 和 “z123” 当 做 不 同 且 重 要 的 等 价 类 。 经 
过 检查 软件 之 后 ， 就 会 发 现 程序 员 不 管 ASCII 表 ， 而 只 检查 数字 、 正 负 号 和 空格 。 基 于 此 ， 应 
该 决定 删 去 其 中 一 些 用 例 ， 因 为 这 两 者 都 属于 同一 个 等 价 类 。 

通过 仔细 检验 代码 ， 就 会 发 现 正 负 号 的 处 理 可 能 有 点 问题 ， 甚 至 不 明白 它 是 怎么 回 事 。 
在 这 种 情况 下 ， 可 以 增加 一 些 带 有 正 负 号 的 测试 用 例 来 确认 。 


7.4 数据 覆盖 


前 面 关 于 atoiO 函 数 白 盒 测试 的 例子 是 相当 简化 的 ， 忽 略 了 一 些 细节 ， 即 查看 代码 决定 如 
何 调整 测试 用 例 。 事 实 上 ,除了 仔细 阅读 软件 找 好 思路 之 外 ， 还 有 很 多 事 要 做 。 

合理 的 方法 是 像 黑 盒 测试 那样 把 软件 代码 分 成 数据 和 状态 (或 者 程序 流程 )。 从 同样 的 角 
度 看 软件 ， 可 以 相当 容易 地 把 得 到 的 白 盒 信息 映射 到 已 经 写 完 的 黑 盒 测试 用 例 上 。 

首先 考虑 数据 。 数 据 包括 所 有 的 变量 、 常 量 、 数 组 、 数 据 结构 、 键 盘 和 鼠标 输入 、 文 件 、 
屏幕 输入 /输出 ， 以 及 调制 解 调 器 、 网 络 等 其 他 设备 的 输入 和 输出 。 
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7.4.1 数据 流 


数据 流 (Data flow) 覆盖 主要 是 指 在 软件 中 完全 跟踪 一 批 数据 。 在 单元 测试 级 ， 数 据 
仅仅 通过 了 一 个 模块 或 者 函数 。 同 样 的 跟踪 方式 可 以 用 于 多 个 集成 模块 ， 甚 至 整个 软件 产 
尽管 这 样 做 是 非常 耗 时 的 。 

如 果 在 底层 测试 函数 ， 就 会 使 用 调试 器 观察 变量 在 程序 运行 时 的 数据 ( 见 图 7-8)。 通 过 
黑 盒 测 试 ， 只 能 知道 变量 开始 和 结束 的 值 。 通 过 动态 白 盒 测试 ， 还 可 以 在 程序 运行 期 间 检查 
变量 的 中 间 值 。 根 据 观察 结果 就 可 以 决定 更 改革 些 测试 用 例 ， 保 证 变量 取得 感 兴趣 的 、 甚 至 
具有 风险 的 中 间 值 。 








Privare Sub macalerey Ciicx() 
| Computes thrae rayroli varisbies 

Dim i is Tnteger 
Dimw sngRate As Singlie, sngTaxRatce As Single 
Dim curTeaxes As Currency, curGrossPpay As Currency 
Dim curNetPpeay As Currency 


" Initigs the Ver TRADE 


8 (No val 2 daca such as this wouid 
Oe from the user or from a tile) 
intHoursWorked = 40 1 Tora: hours yorked 
sngRate = 7.8 * Pay Per hour 
sngTexRete = 0.42 1 Tax rare percentage 
lewiant he woounte 
变量 Pur Grossp - intHoursWorked * sngRate 
一 [6rossPay "312ngTaxRace * curGrosspay 
curGrossPay 邮 33 - curGrossPpay - CurTexes 
包含 值 312 
Displiay resulte 4 prig 二 
iblGrosspay.Caption ”CurCroaspPay 
lbiTaxes.Caption = our 3 
| lbpiNetpay.Caption * curNetpay 
Ee End Sub 
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7.4.2 次 边界 


次 边界 在 第 5 章 与 ASCI 表 和 2 的 寡 问 题 一 起 讨论 过 。 这 些 是 次 边界 导致 软件 缺陷 的 最 常见 
例子 ， 而 软件 的 各 个 部 分 都 有 自己 独特 的 次 边界 。 以 下 是 其 他 一 些 例子 : 
。 计算 税收 的 模块 在 某 些 财务 结算 处 可 能 从 使 用 数据 表 转 向 使 用 公式 。 
。 在 RAM 底 端 运行 的 操作 系统 也 许 开始 把 数据 移 到 硬盘 上 的 临时 存储 区 。 这 种 次 边界 其 
至 无 法 确定 ， 它 随 着 磁盘 上 剩余 空间 的 数量 而 发 生变 化 。 
。 为 了 获得 更 高 的 精度 ， 复杂 的 数值 分 析 程序 根据 数字 大 小 可 能 切换 到 不 同 的 等 式 以 解决 
问题 。 
如 果 进 行 白 盒 测 试 ， 就 需要 仔细 检查 代码 ， 找 到 次 边界 条 件 ， 并 建立 能 测试 它们 的 测试 
用 例 。 询 问 编写 代码 的 程序 员 是 否 知道 这 些 条 件 ， 并 对 内 部 数据 表 给 予 特别 的 注意 ， 因 为 这 
里 聚集 了 大 量 次 边界 条 件 。 
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7.4.3 公式 和 等 式 


公式 和 等 式 通常 深 藏 于 代码 中 ， 从 外 部 看 ， 其 形式 和 影响 不 是 非常 明显 。 计 算 复 利 的 财 

务 程序 一 定 包含 以 下 公式 : 
A=P (1+r/n)™ 

其 中 

P= 本 金 

r= 年 利率 

n= 每 年 复 加 的 利率 次 数 

t= 年 数 

A=t 年 后 的 本 息 总 和 

优秀 的 黑 盒 测试 员 很 可 能 选择 n=0 的 测试 用 例 , 但 是 白 盒 测 试 员 在 看 到 代码 中 的 公式 之 后 ， 
就 知道 这 样 做 将 导致 除 零 错 ， 而 使 公式 乱 套 。 

然而 ， 如 果 n 是 另 一 项 计算 的 结果 ， 会 怎样 昵 ? 也许 软件 根据 用 户 输入 来 设置 n 的 值 ， 或 
者 为 了 找 出 最 低 赔 付 金 额 而 从 算法 角度 试验 各 种 n 值 。 软 件 测 试 员 需 要 考虑 有 没有 n 值 为 零 的 
情形 出 现 ， 指 出 什么 样 的 程序 输入 会 导致 它 出 现 。 


技巧 搬 开 代码 中 的 公式 和 等 式 ， 查 看 它们 使 用 的 变量 ， 在 程序 正常 输入 和 输出 之 外 ， 
为 其 建立 测试 用 例 和 等 价 划 分 。 


7.4.4 错误 强制 


本 章 中 数据 测试 的 最 后 一 种 类 型 是 错误 强制 (error forcing )。 如 果 执 行 在 调试 器 中 测试 的 
程序 ， 不 仅 能 够 观察 到 变量 的 值 一 一 还 可 以 强制 改变 变量 的 值 。 

在 进行 复 利 计算 时 ， 如 果 找 不 到 将 复 加 数 设置 为 零 的 直接 方法 ， 就 可 以 利用 调试 器 来 强 
制 赋值 。 于 是 软件 不 得 不 处 理 这 情况 ， 或 者 报告 处 理 不 了 。 


注意 在 使 用 错误 强制 时 ， 小 心 不 要 设置 现实 世界 中 不 可 能 出 现 的 情况 。 如 果 程 序 员 
在 函数 开头 检查 n 值 必须 大 于 零 ， 而 且 n 值 仅 用 于 该 公式 中 ， 那 么 将 n 值 设 为 零 。 使 程 
序 失 败 的 测试 用 例 就 是 非法 的 。 


如 果 仔细 选择 了 错误 强制 情况 ， 并 和 程序 员 一 起 反复 检查 以 确认 它们 是 合法 的 ， 错 误 强 
制 就 是 一 个 有 效 的 工具 。 借 此 可 以 据 行 其 他 方式 难以 实现 的 测试 用 例 。 


强制 显示 错误 提示 信息 

使 用 错误 强制 的 上 好 方法 是 迫使 软件 中 的 所 有 错误 提示 信息 显示 出 来 。 大 多 数 软 
件 使 用 内 部 错误 代码 表示 错误 提示 信息 。 当 内 部 错误 条 件 标志 被 置 位 时 ， 错 误 处 理 程 
序 读 取 存放 错误 代码 的 变量 ， 在 表 中 查找 代码 ， 并 显示 相应 的 信息 。 

许多 错误 情况 是 难以 建立 的 一 一 例如 挂 接 2 049 台 打印 机 。 但 是 如 果 只 是 想 测试 错 
误 提示 信息 是 否 正确 (拼写 、 语 言 、 格 式 等)， 那 么 使 用 错误 强制 是 最 有 效 的 查看 方 
式 。 然 而 ， 要 记 住 ， 这 不 是 测试 检测 错误 的 代码 ， 而 是 显示 错误 的 代码 。 
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7.5 代码 覆盖 


与 黑 盒 测试 一 样 ， 测 试 数据 只 是 一 半 工 作 。 为 了 全 面 地 覆盖 ， 还 必须 测试 程序 的 状态 以 
及 程序 流程 ， 必 须 设 法 进入 和 退出 每 一 个 模块 ， 执 行 每 一 行 代码 ， 进 入 软件 每 一 条 逻辑 和 决 
策 分 支 。 这 种 类 型 的 测试 叫做 代码 履 盖 (code coverage) 测试 。 

代码 覆盖 测试 是 一 种 动态 白 盒 测 试 ， 因 为 它 要求 通 过 完全 访问 代码 以 查看 运行 测试 用 例 
时 经 过 了 哪些 部 分 。 

代码 覆盖 测试 最 简单 的 形式 是 利用 编译 环境 的 调试 器 通过 单 步 执行 程序 查看 代码 。 图 7-9 
给 出 了 一 个 运行 中 的 Visual Basic 调 试 器 的 例子 。 


ne 
Privatre Sub cbhoDate Click{) 


If hIinitOver Then 
Call SetDayLabel (ibiDay, 


调试 工具 条 


Private Sub choNonth Click() 
Dim OldIindext 


当前 执行 的 代码 行 Tnitover Thes 
Oildindexs = cboDare.ListIindex 证 
Call PopluvateDateComo (choNonth.ListIndex +, 


调用 栈 对 话 杠 





a 
图 7-9 调试 器 允许 单 步 执行 程序 ， 查 看 运行 测试 用 例 时 执行 的 代码 行 和 模块 


对 于 小 程序 或 者 单独 模块 ， 使 用 调试 器 一 般 就 足够 了 。 然 而 ， 对 大 多 数 程序 进行 代码 覆 
盖 测 试 要 用 到 称 为 代码 覆盖 率 分 析 器 (code coverage analyzer) 的 专用 工具 。 图 7-10 给 出 了 该 
类 工具 的 一 个 示例 。 

代码 覆盖 率 测 试 器 挂 接 在 正在 测试 的 软件 中 ， 当 执行 测试 用 例 时 在 后 台 执行 。 每 当 执行 
一 个 函数 、 一 行 代 码 或 一 个 逻辑 决策 分 支 时 ， 分 析 器 就 记录 相应 的 信息 。 从 中 可 以 获得 指示 
软件 哪些 部 分 被 执行 ， 哪 些 部 分 未 被 执行 的 统计 结果 。 利 用 该 数据 可 以 得 到 : 

。 测试 用 例 没 有 覆盖 软件 的 哪些 部 分 。 如 果 某 个 模块 中 的 代码 从 未 执行 ， 就 需要 额外 编写 

测试 该 模块 函数 的 用 例 。 

。 哪些 测试 用 例 是 多 余 的 。 如 果 执 行 一 系列 测试 用 例 ， 而 未 增加 代码 覆盖 率 的 百分比 ， 那 

么 这 些 测 试用 例 就 可 能 处 于 同一 个 等 价 划 分 。 
。 为 了 使 覆盖 率 更 好 ， 需 要 建立 什么 样 的 新 测试 用 例 。 通 过 观察 覆盖 率 低 的 代码 ， 看 它 如 
何 工作 ， 做 了 什么 ， 从 而 建立 可 以 更 彻底 地 测试 它 的 新 测试 用 例 。 

此 外 ， 还 可 以 得 到 软件 质量 的 大 致 情况 。 如 果 测 试用 例 覆 盖 了 软件 的 90% 而 未 发 现任 何 
软件 缺陷 ， 就 说 明 软件 质量 非常 好 。 相 反 ， 如 果 测 试 只 覆盖 了 软件 的 50% 仍 然 发 现 了 一 些 软 
件 缺 陷 ， 就 说 明 软 件 还 要 大 加 改进 。 


提示 “不 要 忘记 第 3 章 “软件 测试 的 实质 ”中 讨论 到 的 杀 贝 剂 现象 一 软件 测试 得 越 多 ， 
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它 对 测试 的 免疫 能 力 越 强 。 如 果 测 试用 例 和 覆盖 了 软件 的 90% 而 未 发 现任 何 软 件 缺 陷 ， 
也 有 可 能 是 软件 的 构造 不 好 一 可 能 是 软件 对 测试 具有 了 免疫 能 力 。 增加 新 的 测试 用 
例 可 能 会 暴露 余下 的 10% 具 有 非常 多 的 缺陷 。 








en 


图 7-10 代码 覆盖 分 析 器 提供 了 评价 测试 用 例 效果 的 详细 信息 
(本 图 由 Bullseye Testing Technology 授 权 并 提供 ) 





7.5.1 程序 语句 和 代码 行 覆盖 


代码 覆盖 最 直接 的 形式 称 为 语句 益 差 (statement coverage ) 或 者 代码 行 履 盖 (line 
coverage)。 如 果 在 测试 软件 的 同时 监视 语句 覆盖 ， 目 标 就 是 保证 程序 中 每 一 条 语句 最 少 执行 
一 次 。 对 于 清单 7-1 所 示 的 小 程序 ，100% 语 名 覆盖 就 是 从 第 1 行 执行 到 第 4 行 。 
清单 7-1 测试 这 个 简单 程序 的 每 一 行 非常 容易 





1: PRINT "Hello World" 

2: PRINT "The date is: "; Date$ 
3:; PRINT "The time is: "; Time$ 
4: END 





有 人 可 能 认为 这 是 完全 测试 程序 的 最 好 方法 ， 可 以 边 进 行 测试 ， 边 补充 测试 用 例 ， 直 至 
程序 中 的 每 一 条 语句 都 不 漏 掉 为 止 。 遗 憾 的 是 语句 覆盖 是 一 种 误导 。 可 以 说 即使 全 部 语句 都 
被 执行 了 ， 但 是 不 能 说 走 遍 了 软件 的 所 有 路 径 。 


7.5.2 分 支 覆盖 
试图 覆盖 软件 中 的 所 有 路 径 称 为 路 径 履 盖 。 路 径 测试 最 简单 的 形式 称 为 分 支 履 盖 测试 。 
请 看 如 清单 7-2 所 示 的 程序 。 
清单 7-2 IF 语句 在 代码 中 建立 了 另外 一 个 分 支 


1: PRINT "Hello World" 
2: IF Date$ = "01-01-2000" THEN 
3: PRINT "Happy New Year" 

4 END IF 
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5: PRINT “The date is: "; Date$ 
6: PRINT "The time is: "; Time$ 
7: END 





如 果 要 使 程序 测试 达到 100% 语 句 覆盖 的 目的 ， 就 只 需 执 行将 变量 Date$ 设 为 2000 年 1 月 1 
日 的 测试 用 例 。 程 序 将 执行 以 下 路 径 : 

第 1，2，3，4，S$，6，7 行 

代码 覆盖 率 分 析 器 将 声称 每 一 条 语句 都 得 到 了 测试 ， 实 现 了 100% 和 覆盖 。 可 以 退出 测试 了 
吗 ? 不 行 ! 这 样 做 虽然 测试 了 所 有 语 揣 ， 但 是 未 测试 所 有 分 支 。 | 

直觉 告诉 我 们 还 需要 尝试 日 期 不 等 于 2000 年 1 月 1 日 的 测试 用 例 。 这 样 在 测试 用 例 中 ， 程 
序 将 执行 其 他 路 径 : 

第 1，2，5，6,，7 行 

大 多 数 代码 覆盖 率 分 析 器 将 根据 代码 分 支 ， 分 别 报告 语句 覆盖 和 分 支 驯 善 的 结 采 ， 使 软 
件 测 试 员 更 加 清楚 测试 的 效果 。 


7.5.3 条 件 覆 益 


正当 我 们 以 为 完事 大 吉 时 ， 却 发 现 还 有 一 个 关于 路 径 测 试 的 复杂 问题 。 清 单 7-3 给 出 了 一 

个 与 清单 7-2 略 有 不 同 的 例子 。 第 2 行 的 正 增 加 了 
(condition coverage) 测试 将 分 支 语句 的 条 件 考 虑 在 内 。 

清单 7-3 IF 语句 中 的 多 重 条 件 生成 了 更 多 的 代码 路 径 


1: PRINT "Hello World" 

2: IF Date$ = “01-01-2000" AND Time$ = "00:00:00" THEN 
3 PRINT “Happy New Year" 

4:. END IF 
5 
6 
7 





“5: PRINT "The date is: "; Date$ 
: PRINT "The time is: "; Time$ 
: END 


-一 


在 这 个 简单 程序 中 ， 为 了 得 到 完整 的 条 件 覆 盖 测 试 ， 就 需要 增加 如 表 7-2 所 示 的 4 组 测试 
用 例 。 这 些 用 例 可 以 保证 下 语句 中 的 每 一 种 可 能 都 被 覆盖 。 
表 7-2 达到 多 重 IF 语 句 条 件 完全 覆 益 的 测试 用 例 





+ Date$ Time$ 执行 语句 行 
”xx -一 

01-01-1999 11:11:11 1, 2, $5, 6, 7 

01-01-1999 00:00:00 1, 2, 5, 6,7 

01-01-2000 11:11:11 1, 2, 5, 6, 7 

01-01-2000 00:00:00 、 1, 2, 3, 4, 5, 6, 7 


9 


如 果 只 考虑 分 支 巴 盖 ， 前 3 个 条 件 就 是 多 余 的 ， 可 以 等 价 划分 到 一 个 测试 用 例 中 。 但 是 ， 
对 于 条 件 覆 盖 测 试 ， 所 有 4 个 案例 都 是 重要 的 ， 因 为 它们 用 于 测试 第 2 行 中 IF 语句 的 各 种 条 





”了 TB 








与 分 支 禾 盖 一 样 ， 代 码 种 盖 率 分 析 器 可 以 被 设置 为 在 报告 结果 时 将 条 件 考虑 在 内 。 如 果 
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测试 条 件 覆 盖 ， 就 能 达到 分 支 覆盖 ， 顺 带 也 能 达到 语句 覆盖 。 


注意 ”即使 想方设法 测试 所 有 语句 、 分 支 和 条 件 ( 除 最 简单 的 程序 之 外 ， 这 是 不 可 能 
实现 的 )， 也 还 没有 做 到 完全 测试 软件 。 不 要 忘 了， 本 章 第 一 部 分 讨论 的 数据 错误 仍 
然 可 能 出 现 。 程 序 流程 和 数据 共同 构成 了 软件 的 操作 。 


7.6 小 结 


本 章 说 明了 在 程序 运行 的 同时 ， 访 问 软件 的 源 代码 可 以 开创 一 片 全 新 的 软件 测试 领域 。 
动态 白 盒 测试 是 非常 强大 的 方法 ， 通 过 提供 关于 测试 对 象 的 “内 部 ”信息 大 幅 减轻 测试 工作 。 
了 解 代码 的 细节 可 以 消除 元 余 的 测试 用 例 ， 增 加 针对 原先 没有 考虑 到 的 区 间 的 测试 用 例 。 这 
两 种 方式 都 可 以 大 幅 提高 测试 的 成 效 。 

第 4~7 章 讲述 了 软件 测试 的 基础 : 

。 衣 态 黑金 测试 是 指 检查 产品 说 明 书 ， 并 在 软件 编写 之 前 找 出 问题 。 

。 动态 黑金 测试 是 指 在 不 了 解 软件 如 何 工作 的 前 提 下 进行 测试 。 

。 前 态 白金 测试 是 指 通过 正式 审查 和 检验 检查 代码 的 细节 。 

。 动态 白金 测试 是 指 在 看 到 软件 的 工作 方式 时 ， 根 据 获得 的 信息 对 软件 进行 测试 。 

从 某 种 意义 上 说 ， 这 就 是 软件 测试 的 全 部 内 容 。 当 然 ， 阅 读 这 4 章 内 容 和 在 实际 中 运用 是 
两 回 事 。 成 为 一 个 优秀 的 软件 测试 员 需 要 有 大 量 精力 的 投入 和 艰苦 的 努力 。 经 过 不 断 实 践 和 
经 验 的 积累 才能 掌握 如 何 合理 地 运用 这 些 基本 技术 。 

第 三 部 分 “运用 测试 技术 ”将 讲述 不 同类 型 的 软件 测试 以 及 在 实际 中 如 何 应 用 “ 白 盒 和 
黑 盒 测试 ”技能 。 


7.7 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 

1. 为 什么 了 解 了 软件 的 工作 方法 会 影响 测试 的 方式 和 内 容 ? 

2. 动态 白 盒 测试 和 调试 有 何 区 别 ? 

3. 在 大 爆炸 软件 开发 模式 下 几乎 不 可 能 进行 测试 的 两 个 原因 是 什么 ?如 何 解决 ? 
4. 判断 是 非 : 如 果 匆 忙 开 发 产品 ， 就 可 以 跳 过 模块 测试 而 直接 进行 集成 测试 。 
5. 测试 柱 和 测试 驱动 有 何 差别 ? 

6. 判断 是 非 : 总 是 首先 设计 黑 盒 测试 用 例 。 

7. 在 本 章 描 叙 的 三 种 代码 覆盖 中 ， 哪 一 种 最 好 ? 为 什么 ? 

8. 静态 和 动态 白 盒 测试 最 大 的 问题 是 什么 ? 
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一 一 Steven Wright 
喜剧 导演 


发 现 来 自 于 在 所 有 人 在 看 到 同样 的 事情 时 产生 不 同 的 想法 。 


. -一 一 Albert Szent-Gyorgyi 
”1937 年 生理 学 和 医学 诺 贝尔 奖 得 主 


本 部 分 内 容 : 


第 8 章 配置 测试 
第 9 章 兼容 性 测试 

第 10 章 外 国语 言 测 试 
第 11 章 易 用 性 测试 
第 12 章 文档 测试 

第 13 章 软件 安全 性 测试 
第 14 章 网 站 测试 





第 8 章 
配置 测试 


生活 可 以 简单 化 。 所 有 计算 机 的 硬件 都 可 以 相同 。 所 有 软件 都 可 以 由 同一 家 公司 编写 。 
不 会 有 容易 弄 混 的 单 选 按钮 和 复 选 框 。 一 切 从 开始 就 相安 无 事 ， 并 且 一 直 延 续 下 去 。 这 真是 
太 枯 燥 了 ! 

在 现实 世界 中 ， 占 地 50 000 平 方 英尺 的 计算 机 超市 在 出 售 PC、 打 印 机 、 显 示 器 、 网 卡 、 
调制 解 调 器 、 扫 描 仪 、 数 码 相 机 、 外 围 设备 ， 网 络 摄像 机 以 及 来 自 成 咎 上 石 家 公 司 的 数 百 种 
计算 机 小 产品 一 一 全 都 可 以 连接 在 你 的 PC 上 。 

如 果 刚 准备 开始 从 事 软 件 测试 工作 ， 首 先 的 一 个 任务 是 配置 测试 。 要 保证 被 测试 的 软件 
在 尽 可 能 多 的 硬件 平台 上 运行 。 假 如 不 是 为 PC 和 Mac 机 测试 软件 一 一 也 就 是 说 ， 如 果 只 测试 
专用 系统 一 一 也 仍然 要 考虑 一 些 配 置 问题 。 运 用 本 章 所 学 可 以 轻松 定制 符合 具体 情况 的 测试 。 

本 章 首先 论述 PC 配置 测试 的 通则 ， 进 而 讲述 为 PC 测试 打印 机 、 显 示 适 配器 (视频 卡 ) 和 
声卡 。 虽 然 本 章 所 用 示例 是 取 自 台 式 机 的 ， 但 是 这 种 方法 可 以 推广 到 任何 类 型 的 配置 测试 问 
题 中 。 每 天 都 会 有 不 同 的 新 设备 面世 ， 测试 员 的 任务 是 弄 清楚 如 何 测试 它们 。 

本 章 重 点 包括 : 

。 为 什么 配置 测试 必 不 可 少 

。 为 什么 配置 测试 可 能 是 艰巨 的 任务 

。 配置 测试 的 基本 方法 

。 如 何 找到 需要 测试 的 硬件 

。 如 果 不 是 在 为 台式 机 测试 软件 怎么 办 


8.1 配置 测试 综述 


下 次 去 计算 机 超市 时 ， 看 看 一 些 软件 的 包装 盒 ， 阅 读 其 系统 要 求 。 可 以 看 到 诸如 PC 机 具 
有 Pentium 4 处 理 器 、1024 x 768 32 位 颜色 显示 器 、32 位 声卡 ， 游 戏 接口 等 。 配 置 测试 
(Configuration testing) 是 指使 用 各 种 硬件 来 测试 软件 运行 的 过 程 。 看 看 在 家 用 和 商用 领域 基 
于 标准 Windows 的 PC 机 有 哪些 配置 可 能 性 : 

。 个 人 计算 机 。 著 名 的 计算 机 生产 厂商 有 很 多 ， 例 如 Dell、Gateway、Hewlett Packard 等 。 

每 一 家 都 使 用 自行 设计 的 部 件 或 者 其 他 生产 厂商 的 部 件 来 生产 自己 的 PC 机 。 很 多 电脑 

爱好 者 甚至 使 用 电脑 超市 里 的 现货 部 件 来 组 装 自己 的 PC 机 。 

e。 部 件 。 大 多 数 PC 机 是 模块 化 的 ， 由 各 种 系统 主板 (system boards)、 部 件 板 卡 
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(component cards) 和 其 他 内 部 设备 ， 如 磁盘 驱动 器 、CD-ROM 驱 动 器 、DVD 读 写 器 、 
视频 卡 、 声 卡 、 调 制 解 调 器 、 网 卡 等 构成 ( 见 图 8-1)。 此 外 还 有 电视 卡 和 用 于 家 庭 自动 
化 视频 捕捉 的 专用 板 卡 。 甚 至 还 有 能 使 PC 控制 小 型 工厂 的 输入 /输出 卡 。 所 有 这 些 内 部 
设备 是 由 数 百 家 不 同 的 生产 厂商 生产 的 。 





IO 适 配 卡 


图 8-1 不 计 其 数 的 内 部 部 件 构成 了 PC 的 配置 


e 外 设 。 外 设 是 指 打印 机 、 扫 描 仪 、 鼠 标 、 键 盘 、 显 示 器 、 数 码 相 机 、 游 戏 杆 以 及 其 他 可 
以 插 在 主板 上 从 外 部 操纵 PC 机 的 设备 ， 如 图 8-2 所 示 。 

。 接口 。 部 件 和 外 设 是 通过 各 种 接口 适配器 连 入 PC 机 的 ( 见 图 8-3)。 这 些 接 口 可 以 是 PC 
机 内 部 的 ， 也 可 以 是 外 部 的 。 常 见 接口 的 名 称 有 ISA、PCI、USB、PS/2、RS/232,， RJ- 
11，RJ-45 和 Firewire。 各 种 可 能 性 太 多 ， 致 使 硬件 生产 厂商 常常 生产 带 有 不 同 接口 的 同 





类 外 设 。 用 户 可 能 会 买 到 具有 三 种 不 同 配置 的 同一 种 鼠标 。 

。 可 选项 和 内 存 。 许 多 部 件 和 外 设 具有 不 同 硬件 可 选项 和 内 存 容 量 供 购买 时 选择 。 打 印 机 
可 以 升级 以 支持 附加 字体 或 者 容纳 更 多 内 存 以 加 快 打印 速度 。 具 有 更 多 内 存 的 图 形 卡 可 
以 支持 更 多 颜色 和 更 高 的 分 辩 率 。 系 统 主板 可 以 具有 不 同 版 本 的 BIOS ， 当 然 也 可 以 具 
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有 不 同 的 内 存 容量 。 

。 设备 驱动 程序 。 所 有 部 件 和 外 设 通 过 称 做 设备 驱动 程序 的 底层 软件 与 操作 系统 和 软件 应 
用 程序 通信 。 这 些 驱 动 程序 通常 由 硬件 设备 生产 厂商 提供 ， 在 安装 硬件 时 一 并 安装 。 尽 
管 从 技术 上 讲 它们 是 软件 ， 但 是 出 于 测试 的 目的 ， 可 以 认为 它们 是 硬件 配置 。 


扫描 仪 





图 8-3 PC 的 后 部 显示 了 连接 外 设 的 接口 连接 器 
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如 果 准 备 开始 进行 软件 的 配置 测试 ， 就 要 考虑 哪些 配置 与 程序 的 关系 最 密切 。 对 图 像 要 
求 很 高 的 计算 机 游戏 要 多 加 注意 视频 和 声音 部 分 。 贺 卡 程序 容易 受到 打印 问题 的 困扰 。 传 真 
或 通信 程序 需要 在 多 种 调制 解 调 器 和 网 络 配置 下 测试 。 

为 什么 这 些 是 必 不 可 少 的 ? 因为 生产 硬件 毕竟 要 符合 标准 ， 不 论 是 市 面 上 出 售 的 PC 机 还 
是 医院 用 的 专用 计算 机 莫不 如 此 。 我 们 期 望 所 有 生产 厂商 都 遵照 一 套 标准 来 设计 硬件 ， 那 么 
使 用 这 些 硬 件 的 软件 就 会 毫 无 问题 地 正常 运行 。 理 想 情况 下 ， 是 这 样 的 ,但 是 遗憾 的 是 标准 
并 没有 被 严格 遵守 。 有 时 ， 标 准 是 相当 松散 的 一 一 称 为 规范 。 板 卡 和 外 设 生 产 厂商 相互 之 间 总 
是 激烈 竞争 ,纷纷 届 从 于 刻意 追求 附加 功能 和 最 后 一 位 的 性 能 改善 的 游戏 规则 。 设 备 驱 动 程 
序 通常 仓促 上 马 ， 硬 件 出 厂 时 打包 在 包装 盒 中 。 结 果 是 软件 使 用 某 种 硬件 配置 无 法 正常 工作 。 


”8.1.1 分 离 配置 缺陷 


配置 缺陷 可 是 难 哺 的 骨头 。 还 记得 第 1 章 “ 软 件 测试 的 背景 ”描述 的 迪斯尼 狮子 王 缺陷 
吗 ? 那 就 是 一 个 配置 问题 。 软 件 在 极 少数 ， 但 是 非常 流行 的 硬件 配置 上 不 能 发 声 。 如 果 在 
玩 游戏 或 者 使 用 图 形 程序 时 ， 颜 色 突然 变 花 或 者 无 法 拖 动 部 分 窗口 ， 就 可 能 发 现 了 显示 适 
配器 配置 缺陷 。 如 果 花 费 数 小 时 (或 者 数 天 ) 才 使 老 程序 正常 使 用 新 打印 机 ， 这 可 能 就 是 
配置 缺陷 。 


注意 ”判断 献 陷 是 配置 问题 而 不 仅仅 是 普通 缺陷 最 可 靠 的 方法 是 ， 在 另外 一 台 有 完 
不 同 瑟 轩 的 计算 机 上 一 步 步 庆 行 时下 同 题 的 相同 漆 作 ， 姑 时针 信 呈 有 产生 ”关机 有 
能 是 特定 的 配置 问题 ， 在 独特 的 硬件 配置 下 才 会 暴露 出 来 。 


假设 在 一 个 独特 的 配置 中 测试 软件 时 发 现 了 一 个 问题 。 谁 应 该 来 修复 缺陷 一 一 开发 小 组 还 
是 硬件 厂商 ? 这 可 能 发 展 为 一 个 代价 极其 高 昂 的 问题 。 

首先 ， 要 找 出 问题 所 在 。 这 通常 是 动态 白 盒 测 试 员 和 程序 员 调 试 的 工作 。 一 个 配置 问题 
产生 的 原因 不 少 ， 全 都 要 求 有 人 在 不 同 的 配置 中 运行 软件 时 仔细 检查 代码 ， 以 找 出 缺陷 : 

。 软件 可 能 包含 在 多 种 配置 中 都 会 出 现 的 缺陷 。 一 个 例子 是 贺卡 程序 使 用 激光 打印 机 时 工 

作 正 常 ， 而 使 用 喷 墨 打印 机 时 工作 异常 。 

。 软件 可 能 包含 只 在 某 一 个 特殊 配置 中 出 现 的 缺陷 一 一 例如 在 OkeeDokee Model BR549 喷 

墨 打 印 机 上 无 法 正常 工作 。 

。 硬件 设备 或 者 其 设备 驱动 程序 可 能 包含 仅 由 软件 揭示 的 缺陷 。 也许 只 有 被 测试 的 软件 才 

使 用 到 显示 卡 的 某 种 设置 。 也 许 当 被 测试 的 软件 使 用 某 种 视频 卡 时 ， 系 统 就 会 崩溃 。 

。 硬件 设备 或 者 其 设备 驱动 程序 可 能 包含 一 个 借助 许多 其 他 软件 才能 看 出 来 的 缺陷 一 一 尽 

管 它 可 能 对 测试 的 软件 特别 明显 。 一 个 例子 是 某 种 打印 机 驱动 程序 总 是 默认 地 采用 草稿 

模式 ， 而 照片 打印 软件 不 得 不 在 每 次 打印 时 设 为 高 品质 输出 模式 。 

在 前 两 种 情况 下 ， 很 显然 要 由 项 目 小 组 负责 修复 缺陷 。 这 是 项 目 小 组 的 事 ， 项 目 小 组 应 
修复 缺陷 。 

在 后 两 种 情况 下 ， 责 任 不 那么 清晰 。 假 定 缺 陷 是 打印 机 问题 ， 而 该 打印 机 是 流行 机 型 ， 
被 广泛 采用 。 软 件 显然 应 该 要 求 能 够 使 用 该 打印 机 。 打 印 机 销售 商 修复 问题 可 能 会 化 费 数 月 
(如 果真 的 做 的 话 ) ， 所 以 开发 小 组 需要 针对 缺陷 对 软件 做 修改 ， 即 使 软件 的 运行 是 正确 的 。 

归根 结 底 ， 无 论 问题 出 在 哪里 ， 解 决 问题 都 是 开发 小 组 的 责任 。 客 户 不 管 缺陷 为 什么 产 
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生 或 者 怎么 来 的 ， 他 们 只 要 求 新 买 的 软件 在 自己 的 系统 配置 中 正常 工作 。 


失真 和 声卡 

Microsoft 公 司 1997 年 发 布 了 ActiMates Barney 人 物 形 象 ， 以 及 少儿 光盘 学 习 配 套 
软件 。 这 些 具 有 动画 效果 的 玩具 通过 自身 的 两 路 无 线 电 设备 和 接 在 PC 机 上 的 无 线 电 设 
备 与 软件 进行 交互 。 

PC 机 的 无 线 电 设备 连接 在 大 多 数 声 卡 上 称 为 MIDI 连 接 器 的 不 常用 接口 上 。 该 接 
口 用 于 接 驱 音乐 键盘 和 其 他 乐器 。Microsoft 公 司 认 为 选择 这 个 连接 器 是 很 好 的 ， 因 为 
大 多 数 用 户 没 有 自己 的 音乐 设备 。 一 般 没有 任何 设备 与 其 相连 ， 可 以 由 ActiMates 无 线 
电 设备 使 用 。 

在 配置 测试 期 间 ， 发 现 了 相当 多 软件 缺陷 。 有 些 来 自 声卡 问题 ， 另 一 些 来 自 
ActiMates 软 件 。 然 而 其 中 有 一 个 软件 缺陷 一 直 没 有 克服 。 运 行 该 软件 的 PC 机 偶尔 出 现 
死 锁 现 象 ， 并 要 求 重 新 启动 。 当 然 ， 这 个 问题 仅 在 使 用 市 场 上 最 流行 的 声卡 时 出 现 。 

根据 进度 安排 ， 只 有 几 周 时 间 了 ， 于 是 集中 精力 来 解决 这 个 问题 。 经 过 大 量 配 置 
测试 和 调试 之 后 ， 该 缺陷 与 声卡 硬件 分 离开 来 。 看 来 MIDI 连 接 器 始终 包含 这 个 缺陷 ， 
但 是 由 于 很 少 用 ， 没 有 人 发 现 。ActiMates 软 件 第 一 次 使 其 显露 出 来 。 

接着 是 疯狂 补救 、 反复 论证 和 加 班 加 点 。 最 后 ， 上 声卡 生产 厂商 承认 硬件 有 问题 ， 
同时 承诺 在 设备 驱动 程序 的 升级 版 中 解决 这 个 软件 缺陷 。Microsoft 公 司 在 ActiMates 
光盘 中 包括 了 修复 好 的 驱动 程序 ， 并 对 软件 进行 修改 ， 设 法 使 该 缺陷 不 会 经 常 出 现 。 
尽管 付出 了 这 些 努 力 ， 声 卡 的 兼容 性 问题 仍然 是 用 户 打 电话 对 产品 求助 的 最 大 问题 。 


8.1.2 计算 工作 量 


配置 测试 工作 量 可 能 非常 巨大 。 假 定 我 们 来 测试 运行 于 Microsoft Windows 的 新 软件 游戏 。 
该 游戏 画面 丰富 ， 具 有 多 种 音效 ， 人 允许 多 个 用 户 通 过 电话 线 对 抗 ， 而 且 可 以 打印 游戏 细节 以 
便 进 行 策划 。 

至 少 需要 考虑 用 各 种 图 形 卡 、 声 卡 、 调 制 解 调 器 和 打印 机 进行 配置 测试 。Windows 的 Add 
New Hardware 向 导 ( 见 图 8-4) 允许 用 户 从 25 个 种 类 中 选择 硬件 。 

每 一 类 硬件 都 有 各 种 生产 厂商 和 型 号 ( 见 图 8-5)。 别 忘 了 ， 这 只 是 Windows 内 置 驱动 支持 
的 型 号 。 其 他 许多 型 号 自行 提供 硬件 的 安装 盘 。 








图 8-4 Microsoft Windows 的 添加 新 硬件 向 导 人 允许 向 ”图 8-5 每 一 类 硬件 都 有 数 不 清 的 生产 厂商 和 型 号 
PC 机 的 当前 配置 中 添加 新 硬件 
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如 果 决 定 进行 完整 、 全 面 的 配置 测试 ， 检 查 所 有 可 能 的 制造 者 和 型 号 组 合 ， 就 会 面临 巨 
大 的 工作 量 。 

市 场 上 大 致 有 336 种 显卡 ，210 种 声卡 ，1500 种 调制 解 调 器 ，1200 种 打印 机 。 测 试 组 合 的 
数目 是 336 x 210 x 1500 x 1200， 总 计 上 亿 种 一 -规模 之 大 难以 想像 。 

如 果 限 于 排除 法 测试 ， 每 一 种 配置 单独 测试 一 种 板 卡 只 用 30 分 钟 ， 也 要 近 一 年 的 时 间 。 
别 忘 了 这 只 是 配置 测试 中 的 一 个 步骤 。 在 产品 发 布 之 前 修复 软件 缺陷 ， 只 通过 两 三 种 配置 测 
试 是 很 少见 的 。 

减少 麻烦 的 答案 是 等 价 划 分 。 需 要 找 出 一 个 方法 把 巨大 无 比 的 配置 可 能 性 减少 到 尽 可 能 
控制 的 范围 。 由 于 没有 完全 测试 ， 因 此 存在 一 定 的 风险 ， 但 这 正 是 软件 测试 的 特点 。 


8.2 执行 任务 


确定 测试 哪些 设备 和 如 何 测 试 的 决定 过 程 是 相当 直观 的 等 价 划 分 工作 。 什 么 重要 ， 怎 样 
才 会 成 功 ， 是 决定 的 内 容 。 如 果 没 有 用 过 软件 将 要 在 上 面 运行 的 某 个 硬件 ， 就 应 该 尽量 去 了 
解 它 ， 向 其 他 有 经 验 的 测试 员 或 者 程序 员 求助 。 多 问 一 些 问题 ， 使 计划 得 到 认可 。 
以 下 儿 个 小 节 给 出 了 在 计划 配置 测试 时 应 该 采用 的 一 般 过 程 。 


8.2.1 确定 所 需 的 硬件 类 型 


应 用 程序 要 打印 吗 ?如 果 是 ， 就 需要 测试 打印 机 。 如 果 应 用 程序 要 发 出 声音 ， 就 需要 测 
试 声 卡 。 如 果 是 照片 或 者 图 形 处 理 程序 ， 还 可 能 需要 测试 扫描 仪 和 数码 相机 。 仔 细 查 看 软件 
的 特性 ， 确 保 测 试 人 全面、 彻底。 把 软件 安装 盘 放 在 桌子 上 ， 想 一 想 需要 哪些 硬件 来 使 它 工作 。 


联机 注册 

在 选择 用 哪些 硬件 来 测试 时 容易 忽略 的 一 个 特性 例子 是 联机 注册 。 当 今 许多 程序 
万 许 用 户 在 安装 过 程 中 通过 调制 解 调 器 和 宽带 连接 来 注册 软件 。 用 户 输入 自己 的 姓名 、 
地 址 和 其 他 个 人 数据 ， 单 击 某 个 按钮 ,调制解调器 就 会 与 软件 公司 的 计算 机 建立 搜 号 
连接 ， 下 载 必要 信息 ， 完 成 注册 。 软 件 在 联机 通信 时 不 用 做 什么 。 但 是 ， 如 果 软 件 有 
联机 注册 功能 ， 就 需要 把 调制 解 调 器 和 网 络 通信 考虑 在 配置 测试 之 中 。 


8.2.2 确定 有 哪些 厂商 的 硬件 、 型 号 和 驱动 程序 可 用 


如 果 编 制 修剪 图 形 的 程序 ， 就 大 可 不 必 测 试 它 能 杏 在 1987 年 生产 的 黑白 点 阵 打 印 机 上 正 
常 运 行 。 与 销售 和 市 场 人 员 一 起 制订 要 测试 的 硬件 清单 。 如 果 他 们 不 行 或 帮 不 上 忙 ， 就 找 几 
本 近期 出 版 的 《PC Magazine》 或 者 《Mac World》， 看 有 哪些 硬件 可 用 ， 哪 些 正在 (曾经 ) 流 
行 。 这 两 本 杂志 以 及 其 他 出 版 物 都 有 关于 打印 机 、 声 卡 、 显 卡 和 其 他 外 设 的 年 度 回 顾 。 

研究 一 下 看 是 否 有 某 些 设备 是 相互 翻版 、 大 同 小 异 一 一 属于 同一 个 等 价 划分 。 例 如 ， 茶 一 
家 打印 机 生产 广 商 可 能 允许 其 他 公司 生产 他 们 的 打印 机 ， 只 是 加 上 不 同 的 包装 和 标签 。 从 软 
件 测试 员 的 角度 来 看 ， 它 们 是 同样 的 打印 机 。 

确定 要 测试 的 设备 驱动 程序 ， 一 般 选 择 操作 系统 附带 的 驱动 程序 、 硬 件 附 带 的 驱动 程序 
或 者 硬件 或 操作 系统 公司 网 站 上 提供 的 最 新 的 驱动 程序 。 这 三 种 驱动 程序 通常 是 不 同 的 。 想 
一 想 用 户 有 哪 一 种 ， 或 者 能 够 获得 哪 一 种 。 
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8.2.3 确定 可 能 的 硬件 特性 、 模 式 和 选项 


彩色 打印 机 可 以 打 彩 色 ， 也 可 以 打黑 白 ， 可 以 在 不 同 的 打印 模式 下 打印 ， 还 可 以 设置 打 
印 照片 还 是 文字 。 显 卡 有 不 同 的 色彩 设置 和 屏幕 分 辩 率 ， 如 图 8-6 所 示 。 


要 玉昌 名 
区 奴 移 受 


High Color (16 四 "| 
区 潮 :， 


mm me ee 


Ew | Pom 


图 8-6 颜色 数 和 屏幕 显示 区 域 等 显示 属性 是 显卡 的 可 能 配置 


每 一 种 设备 都 有 选项 ， 软 件 没 有 必要 全 部 支持 。 计 算 机 游戏 就 是 一 个 好 例子 。 许 多 游戏 
要 求 最 小 颜色 数 和 显示 分 辩 率 。 如 果 配 置 低 于 该 要 求 ， 游 戏 就 不 能 运行 。 


8.2.4 将 确定 后 的 硬件 配置 缩减 为 可 控制 的 范围 


假如 没有 时 间 和 计划 测试 所 有 配置 ， 就 需要 把 成 千 上 万 种 可 能 的 配置 缩减 到 可 以 接受 的 
范围 一 一 即 要 测试 的 范围 。 

一 种 方法 是 把 所 有 配置 信息 放 在 电子 表格 中 ， 列 出 生产 厂商 、 型 号 、 驱 动 程序 版 本 和 可 
选项 。 图 8-7 给 出 了 一 张 明 确 各 种 打印 机 配置 的 表格 。 软 件 测 试 员 和 开发 小 组 可 以 审查 这 张 表 ， 
确定 要 测试 哪些 配置 。 

注意 ， 在 图 8-7 中 还 有 一 栏 是 关于 设备 的 流行 程度 、 类 型 和 年 头 的 信息 。 在 建立 等 价 划分 
时 ， 可 能 决定 只 测试 最 流行 的 ， 或 者 年 头 在 5 年 以 下 的 打印 机 。 至 于 类 型 信息 一 在 本 例 中 是 
激光 打印 机 或 者 喷 墨 打印 机 一 一 可 能 决定 75 儿 测试 针对 激光 打印 机 ， 而 25% 测 试 针对 喷 墨 打 
印 机 。 


注意 ”用 于 把 众多 配置 等 价 划 分 为 较 小 范围 的 决定 过 程 最 终 取决 于 软件 测试 员 和 开发 
小 组 。 这 没有 一 个 定式 。 每 一 个 软件 工程 都 不 相同 ， 都 有 不 同 的 选择 标准 。 一 定 要 保 
证 项 目 小 组 中 的 每 一 个 人 (特别 是 项 目 经 理 )， 搞 清楚 什么 配置 要 测试 (什么 不 测试 )， 
选择 它们 引起 的 变化 有 哪些 。 
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最 不 流行 ) 


最 流行 ，10= 


到 
眉 
六 
区 
副 
六 


激光 3 HAL 打 印 机 LDIY2000 1.0 


流行 程度 
使 用 时 间 (年 ) 


(1 


制造 商 


喷 墨 1 HAL 打印机 IJDIY2000 1.0a 


喷 墨 1 HAL 打 印 机 IJDIY2000 2.0 


10 激光 5 OkeeDohKee LJ100 1.5 B/W 100dpi 
, 200dpi 
300dpi 





喷 墨 2 OkeeDohKee EasyPrint 1.0 Auto 600dpi 


图 8-7 在 电子 表格 中 组 织 配置 信息 


8.2.5 明确 与 硬件 配置 有 关 的 软件 唯一 特性 


这 里 的 关键 词 是 唯一 。 不 应 该 也 没有 必要 在 每 一 种 配置 中 完全 测试 软件 。 只 需 测 试 那些 
与 硬件 交互 时 互 不 相同 〈 不 同等 价 划分 ) 的 特性 即 可 。 

例如 ， 如 果 测 试 写字 板 之 类 的 文字 处 理 程 序 ( 见 图 8-8 ) ， 就 不 必 在 每 一 种 配置 中 测试 保 
存 和 打开 特性 。 文 件 保存 和 打开 与 打印 无 关 。 设 计 良 好 的 测试 会 创建 一 个 文档 ， 包 含 不 同 的 
(当然 ， 由 等 价 划分 来 选择 ) 字体 、 字 体 大 小 、 颜 色 和 贬 入 的 图 片 等 。 接 下 来 设法 在 选 好 的 每 
一 种 打印 机 配置 中 打印 该 文档 。 


Red Riue Green 
Pejure Vane fchve 


THIS 15 A TEST OF THE COMIC FONT IN RED 
DEFGHIJKLMNOPARSTUYWXYZ 

obcdefghikienopqqr rue yz 
BOtb TIAEC NOERLINE 

THIS 1S A TEST OF THE COMIC FONT IN LUE 
ABCOEFGHIITKL MNOPARSTUNWXYT 
be defghiji 

7 


THIS IS ATE5TOF THE COMIC FONT BEGREEN 
ABCDEFGHIJXLMNOPGRSTUYWXYZ 


abcdefghijk 人 
Dot Ther DEINE 





图 8-8 由 各 种 字体 和 样式 组 成 的 示例 文档 可 以 用 于 对 打印 机 进行 配置 测试 
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选择 唯一 特性 进行 尝试 并 不 是 说 说 那么 容易 。 首 先 应 该 进行 黑 盒 测试 ， 通 过 查看 产品 找 
出 明显 的 特性 ; 然后 与 小 组 其 他 成 员 (特别 是 程序 员 ) 交谈 ， 了 解 其 内 部 的 白 盒 情况 。 最 后 
会 惊奇 地 发 现 这 些 特 性 与 配置 有 一 些 紧 密 的 关联 。 


8.2.6 设计 在 每 一 种 配置 中 执行 的 测试 用 例 


第 18 章 “编写 和 眼 踪 测 试用 例 ” 中 将 详细 讲述 编写 测试 用 例 的 方法 ， 但 是 现在 ， 要 考虑 
写 出 测试 所 有 配置 的 步骤 。 可 以 将 此 简化 为 如 下 形式 : 

1) 从 清单 中 选择 并 建立 下 一 个 测试 配置 。 

2) 启动 软件 。 

3) 打开 文件 configtest.doc。 

4) 确认 显示 出 来 的 文件 正确 无 误 。 

5) 打印 文档 。 

6) 确认 没有 错误 提示 信息 ， 而 且 打 印 的 文档 符合 标准 。 

7) 将 任何 不 符 之 处 作为 软件 缺陷 记录 下 来 。 

实际 上 ， 这 些 步 又 还 有 更 多 内 容 ， 包 括 具体 要 做 什么 、 找 什么 的 细节 和 说 明 。 旧 标 是 建 
立 任何 人 都 可 以 执行 的 步骤 。 第 18 章 将 讲述 编写 测试 用 例 的 更 多 内 容 ， 


8.2.7 在 每 种 配置 中 执行 测试 


软件 测试 员 和 需要 执行 测试 用 例 ， 仔 细 记 录 并 向 开发 小 组 报告 结果 ( 见 第 19 章 “报告 发 现 
的 问题 )， 必 要 时 还 要 向 硬件 生产 | 商 报告， 如 本 章 前 面 所 述 ， 明 确 配 置 问题 的 准确 原因 通 

常 很 困难 ， 而 且 非 常 耗 时 。 软 件 测 试 员 需 要 与 程序 员 和 白 盒 测 试 员 紧密 合作 ， 分 离 问题 原因 ， 
判断 所 发 观 的 件 缺陷 是 软件 的 原因 还 是 硬件 的 原因 。 

如 果 软 件 缺陷 是 硬件 的 原因 ， 就 利用 生产 厂商 的 网 站 向 他 们 报告 问题 。 一 定 要 指明 自己 
的 软件 测试 员 身份 以 及 所 在 的 公司 。 许 多 公司 有 专人 帮助 软件 公司 编写 和 硬件 配合 的 软件 。 
他 们 可 能 要 求 发 送 测试 软件 的 副本 、 测 试用 例 和 相关 细节 ， 以 便 帮助 他 们 分 离 问 题 。 


8.2.8 反复 测试 直到 小 组 对 结果 满意 为 止 


配置 测试 一 般 不 会 贯穿 整个 项 目 期 间 。 最 初 可 能 会 尝试 一 些 配置 ， 接 着 整个 测试 通过 ， 
然后 在 越 来 越 小 的 范围 内 确认 缺陷 的 修复 。 最 后 达到 没有 未 解决 的 缺陷 或 缺陷 限于 不 常见 或 
不 可 能 的 配置 上 。 


8.3 获得 硬件 


至 令 还 未 提 到 的 一 件 事 是 从 哪里 获得 所 有 这 些 硬件 。 即 使 费 尽心 机 ， 冒 一 点 险 把 配置 的 
可 能 性 等 价 划分 到 最 低 限度 ， 仍 然 需要 安装 不 少 硬件 。 如 果 每 一 样 东西 都 出 去 单 买 ， 费 用 是 
很 高 昂 的 ， 尤 其 是 有 时 为 了 一 个 测试 步骤 某 些 硬件 只 使 用 一 次 。 以 下 是 克服 这 个 问题 的 一 些 
办 法 : 

。 只 买 可 以 或 者 将 会 经 常 使 用 的 配置 。 小 组 中 的 每 一 个 测试 员 都 配备 不 同 的 硬件 是 个 非常 

好 的 主意 。 虽然 这 会 使 公司 的 采购 部 门 和 计算 机 维修 人 员 大 为 不 满 (他 们 喜欢 每 人 都 是 

同样 的 配置 )， 但 是 这 是 保持 总 有 不 同 的 配置 来 进行 测试 的 有 效 途径 。 即使 开发 小 组 非 








94 蔬 三 部 分 运用 测试 打 术 


常 小 ， 三 四 个 人 有 几 种 配置 也 非常 有 益 。 

。 与 硬件 生产 厂商 联系 ， 看 他 们 是 否 能 够 租借 甚至 赠送 某 些 硬件 。 如 果 说 明 自 己 正在 测试 
新 软件 ， 以 确保 能 够 在 他 们 的 硬件 上 运行 ， 很 多 人 就 会 这 样 做 。 他 们 也 希望 知道 结果 ， 
因此 告诉 他 们 你 可 以 提供 测试 的 结果 ， 如 果 有 可 能 ， 还 可 以 赠送 一 份 最 终 软 件 的 拷贝 。 
建立 这 些 关系 大 有 好 处 ， 特 别 是 如 果 发 现 一 个 软件 缺陷 ， 需 要 与 硬件 公司 的 人 员 联 系 报 
告 时 。 

e 向 全 公司 的 人 发 送 备 忘 或 者 电子 邮件 ， 问 他 们 办 公 室 甚至 家 里 有 什么 硬件 一 一 以 及 能 否 
允许 对 其 进行 一 些 测试 。 为 了 完成 配置 测试 ， 也 许 要 开车 到 乡下 ,但 是 这 比 设法 购买 全 
部 硬件 便宜 太 多 了 。 

VCR 的 配置 测试 

Microsoft ActiMates 产 品 生 产 线 上 的 动画 玩具 不 仅 与 PC 机 相连 ,而 且 与 VCR 相 连 。 

观看 者 看 不 见 的 专用 编码 命令 与 磁带 上 的 视频 信号 混合 在 一 起 。VCR 上 连接 了 一 个 专 

用 的 盒子， 解码 这 些 命令 并 通过 无 线 电 向 玩具 发 射 。 测 试 小 组 显然 要 进行 VCR 上 的 测 

试 。 他 们 有 许多 PC 机 配置 ， 但 是 没有 VCR。 

他 们 找 出 两 种 方法 来 解决 问题 : 

。 他 们 请 300 个 职员 带 来 自己 的 VCR 做 一 天 测试 。 程 序 经 理 用 赠送 礼品 的 方式 吸 

引 人 们 带 来 样品 。 

e 他 们 花 钱 请 本 地 一 家 电子 器 材 超市 的 经 理 推迟 关门 数 小 时 (实际 上 是 通宵 )， 在 

此 期 间 他 们 从 贷 价 上 取 下 各 种 VCR， 连 接 到 自己 的 设备 ， 进 行 测 试 。 他 们 把 测 

试 时 弄 脏 的 VCR 清 洗 干 净 ， 并 请 经 理 共 进 晚餐 以 示 谢 意 。 

当 一 切 完成 时 ， 他 们 测试 了 大 约 150 种 不 同 的 YCR， 可 以 认为 这 是 家 用 VCR 非 党 
充分 的 等 价 划 分 了 。 


。 如果 预算 充足 ， 就 和 项 目 经 理 一 起 与 专业 配置 和 羔 容 性 测试 实验 室 联 系 外 协 测试 这 些 

公司 专门 进行 配置 测试 ， 拥有 几乎 所 有 知名 的 PC 机 硬件 。 也 许 没 有 那么 多 ， 但 是 真 的 

不 少 。 

这 些 实验 室 可 以 根据 自身 的 经 验 帮 化 选择 合适 的 测试 硬件 。 再 者 ， 他 们 允许 软件 测试 员 
到 他 们 那里 去 使 用 他 们 的 设备 ， 或 者 提供 完全 的 交 钥匙 服务 。 给 他 们 提供 软件 、 一 步 一 步 的 
测试 过 程 以 及 预期 结果 。 他 们 会 接着 和 干 ， 执 行 测试 并 报告 哪些 通过 、 哪 些 失败 。 当 然 ， 这 可 
能 很 贵 ， 但 是 远 比 自己 购买 硬件 ， 或 者 更 糟糕 的 不 测试 让 客户 来 发 现 问题 要 划算 得 多 。 


8.4 明确 硬件 标准 


如 果 喜 欢 进行 一 点 静态 黑 盒 子 分 析 一 就 是 说 ， 审 查 硬件 公司 用 于 制造 产品 的 说 明 书 一 一 
可 以 到 几 个 地 方 去 找 。 了 解 硬件 说 明 书 的 一 些 细节 ， 有 助 于 做 出 更 多 清晰 的 等 价 划分 决定 。 

对 于 Apple 机 硬件 ， 访 问 Apple 硬 件 网 站 http://developer.apple.com/ hardware。 

从 中 会 找到 在 Apple 机 上 进行 软件 开发 、 硬 件 及 其 设备 驱动 程序 测试 的 信息 和 链接 。 另 外 
一 个 Apple 链 接 http://developer.apple.com/testing 提 供 特定 的 测试 信息 ， 包 括 到 进行 配置 测试 的 
测试 实验 室 的 链接 。 

对 于 PC 机 ， 最 好 的 链接 是 http:/WWW.microsoft.com/whdc/system/platform。 该 网 站 为 设 
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计 在 Windows 上 运行 的 硬件 的 开发 人 员 和 测试 人 员 提 供 技 术 实 现 指导 、 技 巧 和 工具 。 
Microsoft 公 司 发 布 了 一 套 软件 和 硬件 接受 Windows 徽 标的 标准 。 详 情 见 http:// 
msdn.microsoft.comy/certification/ 和 http:/www.Microsoft.com/whdc/whql。 


8.5 对 其 他 硬件 进行 配置 测试 


假如 不 测试 运行 于 PC 机 或 者 Mac 机 上 的 软件 会 怎样 ? 本章 岂 不 是 在 浪费 时 间 ? 不 会 ! 本 
章 所 讲 的 所 有 知识 可 以 运用 到 通用 系统 测试 上 ， 同 样 可 以 运用 到 特殊 系统 上 。 无 论 硬 件 是 什 
么 ， 也 不 管 连接 的 是 什么 ， 只 要 有 内 存 大 小 、CPU 速 度 等 的 变化 ， 只 要 连接 其 他 硬件 ， 配 置 
问题 就 要 测试 。 

如 果 要 测试 工业 控制 器 、 网 络 、 医 疗 设备 或 者 电话 系统 软件 ， 考 虑 的 问题 与 测试 台式 机 
软件 是 相同 的 : 

。 何 种 外 部 硬件 运行 该 软件 ? 

。 硬件 有 哪些 型 号 和 版 本 可 用 ? 

。 硬件 支持 哪些 特性 或 者 可 选项 ? 

根据 从 设备 使 用 者 、 项 目 经 理 或 者 销售 人 员 那 里 获得 的 信息 来 建立 硬件 的 等 价 划 分 。 开 
发 测试 用 例 ， 收 集 所 选 硬件 ， 执 行 测试 。 配 置 测试 用 的 是 以 前 所 学 的 测试 技术 。 


8.6 小 结 


本 章 讲 述 如 何 进行 配置 测试 。 这 是 软件 测试 新 手 经 常 被 指派 的 工作 ， 因 为 它 容易 定义 ; 
是 基本 组 织 技能 和 等 价 划分 技术 的 入 门 ; 是 与 其 他 项 目 小 组 成 员 合作 的 任务 ; 是 经 理 快速 验 
证 结果 的 手段 。 缺 点 是 有 可 能 很 繁杂 。 

如 果 读 者 受命 为 项 目 进行 配置 测试 ， 就 静 下 心 来 ， 深 呼吸 一 口气 ， 重 读本 章 ， 仔 细 计 划 
工作 ， 花 一 些 时 间 去 做 。 工 作 完 成 之 后 ， 老 板 就 会 提出 新 的 工作 要 求 : 兼容 性 测试 ， 即 下 一 
章 的 主题 。 


8.7 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参见 附录 A 一 但 是 不 要 偷 看 ! 

1. 部 件 和 外 设 有 何 区 别 ? 

2. 如 何 辨别 发 现 的 软件 缺陷 是 普通 问题 还 是 特定 的 配置 问题 ? 

.3. 如 何 保证 软件 永远 不 会 有 配置 问题 ? 

4. 有 些 公司 购买 通用 的 硬件 ， 贴 上 自己 公司 的 名 称 ， 然 后 当 作 自 己 的 产品 来 卖 。 在 电脑 


” 超市 里 经 常 看 到 这 些 低 价 的 外 设 在 销售 。 同 样 “翻版 ”的 外 设 可 能 在 不 同 的 商店 里 冠 以 不 同 





的 名 称 在 销售 。 判 断 是 非 : 选择 测试 的 配置 的 时 候 只 需 考虑 一 种 翻版 的 声卡 。 
5. 除了 年 头 和 流行 程度 ， 对 于 配置 测试 ， 配 置 测 试 中 用 于 等 价 划分 硬件 的 其 他 原则 是 什么 ? 
6. 能 够 发 布 具有 配置 缺陷 的 软件 产品 吗 ? 
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第 8 章 “ 配 置 测 试 ” 讲 述 了 硬件 配置 测试 ， 以 及 如 何 保证 软件 在 其 设计 运行 和 连接 的 硬件 
上 正常 工作 。 本 章 主要 讲述 与 其 类 似 的 交 互 测试 领域 一 -检查 软件 是 否 能 够 与 其 他 软件 正确 
协作 。 

” 随 着 用 户 对 来 自 各 个 厂商 的 各 种 类 型 程序 之 闻 共 享 数据 能 力 和 充分 利用 空间 同时 执行 多 
个 程序 能 力 的 要 求 ， 测 试 程序 之 间 能 否 协作 变 得 越 来 越 重要 了 。 

以 前 ， 程 序 可 以 作为 独立 的 应 用 来 开发 ， 在 已 知 的 、 了 解 的、 平稳 的 环境 中 运行 ， 与 导 
致 户 澳 的 因素 隔离 开 来 。 现 在 ， 这 些 程序 大 多 需要 向 其 他 程序 导入 和 导出 数据 ， 在 各 种 操作 
系统 和 Web 浏 览 器 上 运行 ， 与 同时 运行 在 同一 种 硬件 上 的 其 他 软件 交叉 操作 。 软 件 兼 容 性 测 
试 工作 的 目标 是 保证 软件 按照 用 户 期 望 的 方式 进行 交互 。 

本 章 重 点 包括 : 

。 软件 兼容 性 的 含义 

。 定义 兼容 性 的 标准 

。 平台 是 什么 ， 平台 对 兼容 性 意味 着 什么 

。 为 什么 在 软件 应 用 程序 之 间 传 输 数 据 的 能 力 是 兼容 性 的 关键 


9.1 兼容 性 测试 综述 


软件 兼容 性 测试 (software compatibility testing) 是 指 检查 软件 之 间 是 否 能 够 正确 地 交互 
和 共享 信息 。 交 互 可 以 在 同时 运行 于 同一 台 计 算 机 上 的 两 个 程序 之 间 ， 甚 至 在 相隔 几 千 公 里 、 
通过 因特网 连接 的 不 同 计算 机 上 的 两 个 程序 之 间 进 行 。 交 互 还 可 以 简化 为 在 软盘 上 保存 数据 ， 
然后 拿 到 其 他 房间 的 计算 机 上 。 

兼容 软件 的 例子 如 下 : 、 

。 从 Web 页 面 剪 切 文字 ， 在 文字 处 理 程序 打开 的 文档 中 粘贴 。 

。 从 电子 表格 程序 保存 账目 数据 ， 在 另 一 个 完全 不 同 的 电子 表格 程序 中 读 入 。 

。 使 照片 修饰 软件 在 同一 操作 系统 下 的 不 同 版 本 正常 工作 。 | 

。 使 文字 处 理 程序 从 通信 录 管理 程序 中 读 取 姓 名 和 地 址 ， 打印 个 性 化 的 邀请 函 和 信封 。 

e。 升级 到 新 的 数据 库 程 序 ， 读 入 现存 所 有 数据 库 ， 像 老 程序 一 样 对 其 进行 处 理 。 

兼容 性 对 于 软件 的 意义 取决 于 开发 小 组 决定 用 什么 来 定义 、 以 及 软件 运行 的 系统 要 求 的 
兼容 性 级 别 。 独 立 的 医疗 设备 软件 使 用 自己 的 操作 系统 ， 在 自己 的 存储 器 里 存储 数据 ， 不 与 
任何 其 他 设备 连接 ， 它 没有 兼容 性 问题 。 然 而 ， 某 个 文字 处 理 程序 的 第 5 版 ( 见 图 9-1) 就 有 
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一 大 堆 兼 容 性 问题 ， 它 从 其 他 文字 处 理 程序 读 写 各 种 文件 ， 并 允许 多 个 用 户 通过 因特网 编辑 ， 
支持 戏 和 来 自 不 同 应 用 程序 的 图 片 和 电子 表格 。 
















网 络 导 入 /导出 
公司 M 的 文字 处 “| < 一 一 一 










公司 C 的 文字 处 
理 程序 在 W 操 作 理 程序 在 L 操 作 
系统 上 运行 系统 上 运行 










RS Copy, Paste 


公司 工 的 电子 表格 
程序 在 N 操 作 系统 
上 运行 





人 
ere 


图 9-1 各 种 软件 应 用 程序 之 间 的 兼容 性 很 快 变 得 非常 复杂 


如 果 受 命 对 新 软件 进行 兼容 性 测试 ， 就 需要 解答 以 下 问题 : 

。 软件 设计 要 求 与 何 种 其 他 平台 (操作 系统 、Web 浏 览 器 或 者 操作 环境 ) 和 应 用 软件 保持 

兼容 ? 如 果 要 测试 的 软件 是 一 个 平台 ， 那 么 设计 要 求 什么 应 用 程序 在 其 上 运行 ? 

。 应 该 遵守 何 种 定义 软件 之 间 交 互 的 标准 或 者 规范 ? 

。 软件 使 用 何 种 数据 与 其 他 平台 和 软件 交互 和 共享 信息 ? 

这 些 问 题 的 答案 是 基本 的 静态 测试 一 一 既 有 黑 盒 又 有 白 盒 ， 包 括 整 体 分 析 产 品 说 明 书 和 所 
有 支持 说 明 书 。 还 需要 与 程序 员 讨 论 ， 尽 可 能 深入 审查 代码 以 保证 软件 的 所 有 链接 内 容 得 以 
确认 。 本 章 以 下 内 容 将 详细 讨论 这 些 问 题 。 


9.2 平台 和 应 用 程序 版 本 


选择 目标 平台 或 者 兼容 的 应 用 程序 实际 上 是 程序 管理 或 市 场 定位 的 任务 。 软 件 设计 用 于 
某 个 操作 系统 、Web 浏 览 器 或 者 其 他 平台 要 由 熟悉 客户 基本 情况 的 人 来 决定 。 他 们 还 要 明确 
软件 的 版 本 或 软件 需要 兼容 的 版 本 。 例 如 ， 软 件 包装 或 者 启动 画面 上 可 能 有 如 下 通告 : 

Works best with AOL 9.0 

Requires Windows XP or greater 

For use with Linux 2.6.10 

该 信息 是 说 明 书 的 一 部 分 ， 向 开发 者 和 测试 小 组 说 明 软 件 的 目标 。 每 一 种 平台 都 有 自己 
的 开发 标准 ， 并 且 从 项 目 管理 的 立场 看 ， 使 平台 清单 在 满足 客户 要 求 的 前 提 下 尽 可 能 小 是 很 
重要 的 。 


9.2.1 向 后 和 向 前 兼容 
关于 兼容 性 测试 的 两 个 常用 术语 是 向 后 兼容 (backward compatible) 和 向 前 兼容 (forward 
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”compatible )。 向 后 兼容 是 指 可 以 使 用 软件 的 以 前 版 本 ; 向 前 兼容 是 指 可 以 使 用 软件 的 未 来 
版 本 。 
文本 文件 是 向 前 兼容 和 向 后 兼容 最 简单 的 示例 。 如 图 9-2 所 示 ， 用 Notepad 98 创 建 的 文本 


文件 在 Windows 98 上 运行 ， 向 后 一 直 兼 容 到 MS-DOS 1.0 版 本 。 它 还 向 前 兼容 Windows XP 
service pack 2 以 及 以 后 可 能 的 版 本 。 


Windows 
XP 上 运行 
的 记事 本 












MS-DOS 
1.0 上 运行 
的 Edit.exe 





Windows 


3.1 上 运行 


的 记事 本 A 
Windows 95 i y Ey 
上 运行 的 记 ?7779 上 


MYDATA.TXT 
事 本 





向 后 兼容 


向 前 兼容 
图 9-2 向 前 兼容 和 向 后 兼容 定义 软件 或 数据 文件 使 用 的 版 本 


注意 ”并非 所 有 软件 或 者 文件 都 要 求 向 前 兼容 或 者 向 后 兼容 。 这 是 软件 设计 者 需要 决 


定 的 产品 特性 ， 而 软件 测试 员 应 该 为 检查 软件 向 前 和 向 后 兼容 性 所 需 的 测试 提供 相应 
的 输入 。 


9.2.2 测试 多 个 版 本 的 影响 


测试 平台 和 软件 应 用 程序 多 个 版 本 相互 之 间 能 否 正常 工作 可 能 是 一 个 艰巨 的 任务 。 假 定 
对 一 个 流行 操作 系统 的 新 版 本 进行 兼容 性 测试 。 程 序 员 修复 了 大 量 软件 缺陷 ， 改 善 了 性 能 ， 


并 在 代码 中 增加 了 许多 新 特性 。 当 前 操作 系统 上 可 能 有 几 万 到 几 十 万 的 现 有 程序 。 新 操作 系 
统 的 目标 是 与 它们 百分之百 兼容 ， 见 图 9-3。 


字 处 理 电子 表格 
程序 程序 
数据 库 游戏 
绘图 程序 到 Sa 新 型 计算 平台 2007 xz- 一 教育 程序 


图 9-3 如 果 对 新 平台 进行 兼容 性 测试 ， 就 必须 检查 现 有 程序 使 用 它 能 否 正常 工作 
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这 是 一 个 庞大 的 任务 ， 同 时 也 是 一 个 运用 等 价 划分 减少 工作 量 的 示例 。 


注意 ”在 开始 兼容 性 测试 任务 之 前 ， 需 要 对 所 有 可 能 的 软件 组 合 等 价 划 分 ， 使 其 成 为 
验证 软件 之 间 正 确 交 互 的 最 小 有 效 集合 。 


简 言 之 ， 由 于 不 可 能 在 一 个 操作 系统 上 全 部 测试 数 千 个 软件 程序 ， 因 此 需要 决定 测试 哪 
些 是 最 重要 的 。 关 键 词 是 “重要 ”。 决 定 要 选择 的 程序 的 原则 是 : 

。 流行 程度 。 利 用 销售 记录 选择 前 100 或 1000 个 最 流行 的 程序 。 

。 年 头 。 应 该 选择 近 3 年 以 内 的 程序 和 版 本 。 

。 类 型 。 把 软件 分 为 绘图 、 文 字 输 入 、 财 务 、 数 据 库 、 通 信 等 类 型 。 从 每 一 种 类 型 中 选择 

要 测试 的 软件 。 

。 生产 厂商 。 另 一 个 原则 是 根据 制作 软件 的 公司 来 选择 软件 。 

与 硬件 配置 测试 一 样 ， 没 有 “教科 书 ” 式 的 标准 答案 。 软 件 测试 员 和 开发 小 组 需要 决定 
哪些 最 重要 ， 然 后 根据 上 述 原则 建立 需要 测试 的 软件 的 等 价 划分 。 

上 一 个 例子 是 关于 新 操作 系统 平台 的 兼容 性 测试 的 。 测试 新 应 用 程序 也 是 一 样 ( 见 图 9-4)， 
需要 决定 在 哪个 平台 版 本 上 测试 软件 ， 以 及 和 什么 应 用 程序 一 起 测试 。 


.rr 程序 要 


< 一 人 四 


图 9-4 对 新 应 用 程序 的 兼容 性 测试 可 能 要 求 在 多 个 平台 上 和 多 个 应 用 程序 上 进行 


9.3 标准 和 规范 


至此， 本 章 讲述 了 如 何 选择 程序 兼容 性 测试 所 需 的 软件 。 现 在 来 看 一 下 如 舍 进行 实际 测 
试 。 第 一 步 应 该 是 研究 可 能 适用 于 软件 或 者 平台 的 现 有 标准 和 规范 。 
实际 上 这 些 要求 有 两 个 层次 : 高 级 和 低级 。 说 高 级 和 低级 可 能 用 词 不 当 , 但 在 某 种 意义 上 ， 
情况 就 是 这 样 。 高 级 标准 是 产品 普遍 遵守 的 规则 ， 例 如 外 观 和 感觉 、 支 持 的 特性 等 。 低 级 标 
准 是 本 质 细节 ， 例 如 文件 格式 和 网 络 通信 协 议 等 。 两 者 都 很 重要 ， 都 需要 测试 以 保证 兼容 。 


9.3.1 高 级 标准 和 规范 | 
软件 要 在 Windows，Mac 或 者 Linux 操 作 系统 上 运行 吗 ? 是 Web 应 用 程序 吗 ? 如 果 是 ， 运 
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行 于 何 种 浏览 器 上 ? 每 一 个 问题 都 关系 到 平台 ， 如 果菜 个 应 用 程序 声称 与 某 平台 兼容 ， 就 必 
须 遵守 该 平台 自身 的 标准 和 规范 。 


Microsoft Windows 认 证 徽标 就 是 一 个 例子 ( 见 图 9-5 ) 。 为 了 得 
到 这 个 徽标 ， 软 件 必 须 通 过 由 独立 测试 实验 室 执行 的 兼容 性 测试 。 Ag 
其 目的 是 确保 软件 在 操作 系统 上 能 够 稳定 可 靠 地 运行 。 
认证 徽标 对 软件 有 以 下 几 点 要 求 : Ren 
。 支 持 三 键 以 上 的 鼠标 。 
e 支持 在 C: 和 D: 以 外 的 磁盘 上 安装 。 
。 支持 超过 DOS 8.3 格 式 文件 名 长 度 的 文件 名 。 图 9-5 Microsoft Windows 
。 不 读 写 或 者 以 其 他 形式 使 用 旧 系 统 文件 win.ini、system.ini、 认证 徽标 表明 软件 符合 规 
autoexec.bat 和 config.sys。 下 定义 的 所 有 有 则 


这 些 看 上 去 都 是 稀 松 平常 的 简单 要 求 ， 但 是 这 仅仅 是 长 达 100 多 页 文档 中 的 4 项 而 已 。 虽 
然 使 软件 符合 认证 徽标 要 求 需要 做 大 量 工作 ,但 是 这 样 会 使 软件 的 兼容 性 更 好 。 


注意 ”Windows 认 证 徽标 的 详情 见 http://msdn.microsoft.com/certification/。Apple Mac 
认证 徽标 的 详情 见 http://developer.apple.com/testing。 


9.3.2 低级 标准 和 规范 


从 某 种 意义 上 说 ， 低 级 标准 比 高 级 标准 更 重要 。 假 如 创建 一 个 运行 在 Windows 之 上 的 程 
序 ， 与 其 他 Windows 软 件 在 外 观 和 感觉 上 有 所 不 同 。 它 不 会 获得 Microsoft Windows 认 证 徽标 。 
用 户 虽然 不 会 因为 它 与 其 他 应 用 程序 不 同 而 感到 激动 ， 但 是 他 们 可 能 会 使 用 该 产品 。 

然而 ， 如 果 该 软件 是 一 个 图 形 程序 ， 把 文件 保存 为 .pict 文 件 格式 (标准 的 Macintosh 图 形 
文件 格式 ) ， 而 程序 不 符合 .pict 文 件 的 标准 ， 用 户 就 无 法 在 其 他 程序 中 查看 该 文件 。 该 软件 与 
标准 不 兼容 ， 很 可 能 成 为 短命 产品 。 

同样 ， 通 信 协 议 、 编 程 语言 语法 以 及 程序 用 于 共享 信息 的 任何 形式 都 必须 符合 公开 的 标 
准 和 规范 。 : 

此 类 低级 标准 常常 不 被 重视 ， 但 是 从 测试 员 的 角度 来 看 必须 测试 。 低 级 兼容 性 标准 可 以 
视 为 软件 说 明 书 的 扩充 部 分 。 如 果 软 件 说 明 书 说 : “本 软件 以 .bmp, :jpg 和 .gif 格式 读 写 图 形 文 
件 ”， 就 要 找到 这 些 格式 的 标准 ， 并 设计 测试 来 确认 软件 符合 这 些 标准 。 


9.4 数据 共享 兼容 性 


在 应 用 程序 之 间 共 享 数据 实际 上 是 增强 软件 的 功能 。 写 得 好 的 程序 支持 并 遵守 公开 标 
准 ; 允许 用 户 与 其 他 软件 轻松 传输 数据 ， 这 样 的 程序 可 称 为 兼容 性 极 好 的 产品 。 

程序 之 间 最 为 人 熟知 的 数据 传输 方式 是 读 写 磁盘 文件 。 如 上 一 节 所 述 ， 严 格 遵守 磁盘 和 
文件 格式 的 低级 标准 是 实现 此 类 共享 的 前 提 。 虽 然 其 他 方式 有 时 被 想当然 地 接受 ， 但 仍然 需 
要 做 兼容 性 测试 。 以 下 是 一 些 例子 : 

e 文 件 保存 和 文件 读 取 是 人 人 共 知 的 数据 共享 方法 。 把 数据 存 和 人 软盘 〈 或 者 其 他 形式 的 磁 

介质 和 光 介 质 存储 器 ) ， 然 后 拿 到 另外 一 台 运行 不 同 软件 的 计算 机 上 读 取 。 文 件 的 数据 

格式 只 有 符合 标准 ， 才 能 在 两 台 计 算 机 上 保持 兼容 。 
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。 文件 导出 和 文件 导入 是 许多 程序 与 自身 以 前 版 本 、 其 他 程序 保持 兼容 的 方式 。 图 9-6 给 
出 了 Microsoft Word 程 序 的 File Open 对 话 框 ， 以 及 可 以 导入 文字 处 理 程序 的 23 种 不 同文 
件 格式 中 的 一 部 分 。 





图 9-6 Microsoft Word 可 以 导入 23 种 不 同 的 文件 格式 


为 了 测试 文件 的 导入 特性 ， 需 要 以 各 种 兼容 文件 格式 创建 测试 文 
格式 的 原 程序 来 创建 。 这 些 文档 需要 等 价 划 分 可 能 的 文本 和 格式 ， 用 于 检查 导入 的 代码 是 否 
正确 转换 为 新 格式 。 

。 前 切 、 复 制 和 粘贴 是 程序 之 间 无 需 借 助 磁盘 传输 数据 的 最 常见 的 数据 共享 方式 。 在 这 种 

情况 下 ， 传 输 在 内 存 中 通过 称 为 剪贴 板 (Clipboard) 的 即时 程序 实现 。 图 9-7 说 明了 这 

个 传输 过 程 。 





来 自 失 程序 的 多 种 仅 被 #2 程序 支持 的 
数据 类 型 和 格式 数据 类 型 和 格式 


一 一 


-一 一 一 全 

#1 应 用 程序 “| 一 一 > 一 一 > | 4#2 应 用 程序 
一 一 -一 到 一 -一 一 
一 一 一 > 


系统 剪贴 板 
图 9-7 系统 剪贴 板 是 应 用 程序 之 间 复制 数据 的 临时 存放 处 


剪贴 板 设计 用 于 存放 各 种 不 同 的 数据 类 型 。Windows 中 常见 的 有 文本 、 图 片 和 声音 。 
A 
图 片 可 以 是 位 图 、 图 元 文件 或 者 .tifs 文 件 。 

当 用 户 进 行 复制 或 者 剪 切 时 ， 所 选 数据 被 放 进 剪贴 板 中 。 当 进行 粘贴 时 ， 剪 贴 板 中 的 数 
据 就 复制 到 目标 应 用 程序 中 。 一 些 应 用 程序 可 能 只 接受 特定 数据 类 型 和 格式 一 一 例如 ， 绘 图 
程序 只 接受 图 片 ， 而 不 接受 文本 。 

如 果 对 某 种 程序 进行 兼容 性 测试 ， 就 要 确认 其 可 以 利用 剪贴 板 与 其 他 程序 正确 地 相互 复 
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` 制 数据 。 这 个 特性 实在 太 常用 了 ， 以 致 人 们 想 不 起 来 其 背后 还 有 大 量 代码 来 保证 正常 工作 ， 
与 众多 不 同 软件 保持 兼容 。 

s DDE (发 音 为 D-D-E)，COM (Component Object Model) 和 OLE (发 音 为 oh-lay) 是 

Windows 中 在 两 个 程序 之 间 传 输 数据 的 方式 。DDE 表 示 动 态 数据 交换 ， 而 OLE 表 示 对 象 

链接 和 嵌入 。 其 他 平台 也 支持 类 似 的 方法 。 

出 于 本 书 的 写作 目的 ， 不 必 深 究 这 些 技术 的 细 枝 术 节 ， 在 此 仅 介绍 一 下 这 两 种 方法 和 前 
贴 板 的 主要 差别 ，DDE 和 OLE 数 据 可 以 实时 地 在 两 个 程序 之 间 旋 动 。 剪 切 和 复制 是 手工 操 
作 ; 有 了 DDE 和 OLE， 数 据 传输 可 以 自动 进行 。 

这 些 技术 的 用 法 示例 是 在 文字 处 理 程序 编制 的 报告 中 包含 电子 表格 程序 创建 的 饼 图 。 如 果 
报告 的 作者 在 报告 中 复制 并 粘贴 该 饼 图 ， 这 就 是 数据 某 一 时 刻 的 快照 。 然 而 ， 如 果 作 者 把 饼 
图 作为 一 个 对 象 与 报告 链接 ， 那 么 ， 当 饼 图 数据 发 生变 化 时 ， 新 图 表 就 会 自动 出 现在 报告 中 。 

这 是 很 有 意思 的 ， 但 是 对 于 保证 所 有 对 象 正确 链接 、 嵌 入 和 数据 交换 的 测试 却 是 一 个 挑战。 


9.5 小 结 


本 章 介绍 了 兼容 性 测试 的 基本 知识 。 实 际 上 这 个 主题 可 以 写 整整 一 本 书 ， 单 单一 章 不 足 
以 讲 清 楚 。 每 一 种 平台 和 应 用 程序 都 是 唯一 的 ， 一 个 系统 上 的 兼容 性 问题 与 另 一 个 系统 可 能 
完全 不 同 。 

软件 测试 新 手 可 能 受命 对 软件 进行 兼容 性 测试 。 既 然 这 是 一 个 庞大 而 复杂 的 任务 ， 因 而 
由 新 手 做 显得 有 些 奇怪 ， 但 是 总 要 做 其 中 的 一 些 工 作 。 如 果 测 试 对 象 是 新 操作 系统 ， 就 可 能 
只 要 求 对 文字 处 理 程序 和 图 形 程序 进行 兼容 性 测试 。 如 果 测 试 对 象 是 应 用 程序 ， 就 可 能 要 求 
在 多 个 不 同 的 平台 上 进行 兼容 性 测试 。 

如 果 在 进行 测试 时 记 住 以 下 3 点 ， 就 可 以 得 心 应 手 地 处 理 上 述 每 一 种 任务 : 


。 对 兼容 软件 的 所 有 可 能 选择 进行 等 价 划分 ， 使 其 成 为 可 以 控制 的 范围 。 当 然 ， 项 目 经 理 


要 认可 测试 清单 ， 并 接受 由 于 未 完全 测试 而 引起 的 风险 。 
。 研究 适用 于 测试 软件 的 高 级 /低级 标准 和 规范 。 把 它们 当做 产品 说 明 书 的 补充 内 容 。 
。 测试 软件 程序 之 间 不 同 的 数据 流动 方式 。 其 中 的 数据 交换 就 是 程序 之 间 保 持 兼 容 的 因素 。 


9.6 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 见 附录 A 一 一 但 是 不 要 偷 看 ! 
1. 判断 是 非 : 所 有 软件 必须 进行 某 种 程度 的 兼容 性 测试 。 

2. 判断 是 非 : 兼容 性 是 一 种 产品 特性 ， 可 以 有 不 同 程度 的 符合 标准 。 

3. 如 果 受 命 对 产品 的 数据 文件 格式 进行 兼容 性 测试 ， 应 该 如 何 完成 任务 ? 
4. 如 何 进行 向 前 兼容 性 测试 ? ， 





第 10 章 
外 国语 言 测 试 


Si eres fluente en mas de un idioma y competente probando programas de computadora, 
usted tiene una habilidad muy deseada en el mercado. 

Wenn Sie eine zuverliaPig Software Priiferin sind, und fliBend eine fremd sprache, ausser 
English, sprechen konnen, dann konnen Sie gut verdienen, 

翻译 上 述 西 班 牙 文 和 德 文 的 意思 是 : 如 果 你 是 有 竞争 力 的 软件 测试 员 ， 并 且 莎 练 掌握 除 
英语 之 外 的 一 门 外 语 ， 你 就 有 了 很 有 价值 的 技能 。 

当今 大 多 数 软件 发 布 范围 是 全 世界 ， 而 不 仅仅 是 某 一 个 国家 、 某 一 种 语言 。Microsoft 的 
Windows XP 支持 106 种 不 同 的 语言 和 方言 ， 从 阿富汗 语 到 匈牙利 语 到 祖 鲁 语 。 大 多 数 其 他 公 
司 也 这 样 做 ， 因 为 意识 到 英语 国家 的 市 场 不 过 是 潜在 客户 的 一 小 半 。 为 在 全 球 发 布 而 进行 软 
件 设计 和 测试 具有 商业 上 的 重大 意义 。 

本 章 讲 述 如 何 测试 为 其 他 国家 和 语言 编写 的 软件 。 这 似乎 是 一 个 直接 的 过 程 ， 但 是 事实 .… 
上 不 然 ， 下 面 将 讲述 其 原因 。 

本 章 重点 包括 : 

。 为 什么 只 进行 翻译 是 不 够 的 

。 单词 和 文本 受 何 影响 

。 足 球 和 电话 为 什么 重要 

。 配 置 和 兼容 性 问题 

。 测试 其 他 语言 有 多 大 的 工作 量 


10.1 使 文字 和 图 片 有 意义 


看 到 过 按 外 语 字面 意思 粗 劣 翻译 过 来 的 某 个 器 械 或 者 玩具 的 用 户 手 册 吗 ? “把 第 5 个 螺栓 
。 穿 过 绿 杆 拧紧 在 螺母 上 。” 什 么 意思 ? 

这 就 是 粗 沙 的 翻译 〈translation )。 如 果 在 制作 外 国语 软件 时 不 多 花心 思 ， 则 软件 对 于 不 
讲 英语 的 用 户 可 能 就 是 这 样 的 感觉 。 逐 字 直 译 单 词 是 容易 的 ， 但 要 想 使 整个 操作 提示 意思 明 
确 、 实 用 ， 就 需要 投入 更 多 的 时 间 和 精力 。 

好 的 翻译 工作 者 可 以 做 到 这 一 点 ， 如 果 对 两 种 语言 都 很 熟练 ， 就 能 够 将 外 文 翻译 得 读 起 
来 和 原文 一 样 。 遗 憾 的 是 ， 在 软件 行业 中 甚至 连 一 个 像样 的 好 翻译 都 找 不 到 。 

以 西班牙 文 为 例 。 把 英语 翻译 成 西班牙 文 应 该 是 轻而易举 的 事 ， 对 吧 ? 那么 是 指 哪个 国 
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家 的 西班牙 文 ? 西班牙 的 西班牙 文 吗 ? 哥斯达黎加 、 秘 鲁 或 多 米 尼 加 共和 国 的 西班牙 文 呢 ? 
它们 都 是 西班牙 语 国家 ， 但 是 语言 有 极 大 差异 ， 为 一 个 国家 编写 的 软件 不 能 被 其 他 国家 很 好 
地 接受 。 即 使 英语 也 有 同样 的 问题 。 不 仅 有 美国 英语 ， 还 有 加 拿 大 、 澳 大 利 亚 和 英国 英语 。 
在 文字 处 理 程 序 中 可 以 令 人 惊奇 地 找到 colour，neighbour 和 rumour 这 样 的 单词 。 

除了 语言 ， 还 需要 考虑 地 域 (region 或 locale) 一 一 用 户 的 国家 和 地 理 位 置 。 使 软件 适应 
特定 地 域 特征 ， 照 顾 到 语言 、 方 言 、 地 区 习俗 和 文化 的 过 程 称 为 本 地 化 (localization ) 或 国 
际 化 (internationalization )。 测 试 此 类 软件 称 为 本 地 化 测试 。 


10.2 翻译 问题 


虽然 翻译 只 是 整个 本 地 化 工作 的 一 部 分 ， 但 是 从 测试 角度 看 这 是 重要 的 一 环 ， 最 明显 的 
问题 是 如 何 测 试用 其 他 语言 做 的 产品 。 那 么 ， 软 件 测 试 员 或 者 测试 小 组 至 少 要 对 所 测试 的 语 
言 基本 熟悉 ， 能 够 驾驭 软件 ， 看 懂 软 件 显 示 的 文字 ， 输 入 必要 的 命令 执行 测试 。 现 在 也 许 要 
申请 一 直 没 时 间 上 的 斯 洛 文 尼 亚 语 公 共 大 学 课程 了 。 


注意 ”软件 测试 小 组 一 定 要 有 人 对 测试 的 语言 比较 熟悉 。 当 然 ， 如 果 程 序 附带 32 种 语 
言 ， 难 度 就 太 大 了 。 解 决 方法 是 委托 本 地 化 测试 公司 进行 测试 。 全 世界 有 许多 这 样 的 
公司 ， 它 们 几乎 可 以 进行 任何 一 种 语言 的 测试 。 更 多 详情 可 以 在 因特网 上 查找 “本 地 
化 测试 ”相关 的 主题 。 


不 要 求 测试 小 组 中 的 每 一 个 人 会 说 软件 所 用 的 当地 语言 ， 只 需要 有 一 个 人 会 就 行 了 。 不 
知道 单词 如 何 说 也 可 以 检查 许多 内 容 。 学 会 一 点 语言 肯定 会 有 帮助 ， 但 是 从 下 面 的 讲述 中 可 
以 看 到 没有 特别 流利 的 外 语 水 平 也 可 以 进行 许多 测试 工作 。 


10.2.1 文本 扩展 


可 能 出 现 的 翻译 问题 中 最 直接 的 例子 来 自 于 文本 扩展 (text expansion)。 虽 然 英语 有 时 显 
得 比较 哆 哄 ， 但 是 实践 证 明 ， 当 英语 被 翻译 为 其 他 语言 ， 用 来 表达 同一 事物 时 往往 需要 加 一 
些 字符 。 图 10-1 显 示 了 放置 两 个 常用 计算 机 用 词 的 按钮 被 翻译 成 外 国语 时 长 度 扩展 的 情形 。 
一 个 好 的 大 拇指 规则 是 每 个 单词 长 度 预计 增加 100% 一 一 例如 一 个 按钮 上 ; 语句 和 短小 段落 长 
度 预 计 增 加 50% 一 一 通常 是 在 对 话 框 和 错误 提示 信息 中 的 短语 。 











图 10-1 单词 Minimize 和 Maximize 翻 译 成 其 他 语言 时 长 度 发 生 很 大 的 变化 ， 
3 迫使 用 户 界面 被 重新 设计 以 容纳 它们 , 
因为 这 些 扩展 现象 ， 所 以 必须 仔细 测试 可 能 受到 变 长 了 的 文本 影响 的 软件 部 分 。 要 找 出 
没有 正确 换行 、 截 断 的 和 连 字符 位 置 不 对 的 文本 ， 这 种 现象 可 能 出 现在 任何 地 方 一 -屏幕 、 





梨 170 音 ”外国 语言 出 研 705 


窗口 、 框 体 和 按钮 等 。 还 要 找到 虽然 文本 有 足够 的 扩展 空间 ， 但 这 是 通过 把 其 他 的 文本 挤 出 
去 来 实现 的 情况 。 

变 长 了 的 文本 还 可 能 导致 主 程序 失败 ， 甚 至 系统 崩溃 。 程 序 员 可 能 为 英语 文本 信息 分 配 
了 足够 的 内 存 ， 但 是 对 于 翻译 文本 字符 串 就 不 够 了 。 软 件 的 英文 版 可 能 工作 正常 ， 但 是 德 文 
版 可 能 在 显示 信息 时 崩溃 。 白 盒 测试 员 即 使 不 认识 任何 外 语 单词 ， 也 可 以 发 现 这 个 问题 。 


10.2.2 ASCII、DBCS 和 Unicode 


第 5 章 “ 带 上 眼罩 测试 软件 ”简要 地 讨论 了 ASCII 字 符 集 。ASCII 只 能 表示 256 种 不 同 的 字 
符 一 一 远 不 足以 表示 所 有 语言 的 全 部 字符 。 当 开始 为 不 同 语言 开发 软件 时 ， 就 需要 找到 克服 
该 限制 的 解决 方案 。 在 MS-DOS 时 代 常 用 的 一 个 方法 是 使 用 称 为 代码 页 (code pages) 的 技术 ， 
而 且 今 天 仍然 在 沿用 。 代 码 页 实质 上 是 ASCII 表 的 替换 ， 每 一 种 语言 用 一 个 不 同 的 代码 页 。 如 
果 在 法 国 的 PC 上 软件 在 用 魁北克 语 运 行 ， 就 会 读 入 并 使 用 支持 法 文字 符 的 代码 页 。 俄 罗斯 对 
西里 尔 字 符 使 用 另 一 个 不 同 的 代码 页 ， 依 此 类 推 。 

这 个 方法 虽然 有 点 笨 ， 毕 竟 对 少 于 256 个 字符 的 语言 还 是 可 行 的 ， 但 是 像 中 文 、 日 文 等 包 
含 数 千 个 象形 字符 的 语言 就 会 出 现 问 题 。 某 些 软 件 使 用 称 为 DBCS ( 双 字 市 字符 集 ) 的 系统 提 
供 对 超过 256 个 字符 的 语言 的 支持 。 用 两 个 字 节 代 赫 一 个 字 节 来 表示 最 多 可 容纳 65 536 个 字符 。 

代码 页 和 DBCS 在 许多 情况 下 已 经 足够 了 , 但 是 会 遇 到 一 些 问 题 , 最 重要 的 是 兼容 性 的 问题 。 
如 果 在 德国 计算 机 上 运行 英国 文字 处 理 程序 ， 读 入 一 个 希 伯 莱 文档 ， 结 果 可 能 乱七八糟 。 没 有 
相应 的 代码 页 或 者 相互 之 间 的 转换 ， 字 符 就 不 能 正确 解释 ， 甚 至 根本 认 不 出 来 就 不 能 解释 。 

解决 这 个 麻烦 的 方法 是 使 用 Unicode 标 准 。 


Unicode 为 每 一 个 字符 提供 唯一 编号 ， 

无 论 何 种 平台 ， 

无 论 何 种 程序 ， 

无 论 何 种 语言 

一 一 “Unicode 是 什么 ” 引 自 Unicode 学 会 网 站 www.unicode.org 

因为 Unicode 是 由 主要 软件 公司 、 硬 件 生产 厂商 和 其 他 标准 组 织 所 支持 的 世界 标准 ， 所 以 
它 变 得 更 加 通用 。 大 多 数 主要 软件 应 用 程序 都 支持 它 ， 图 10-2 给 出 了 Unicode 支 持 的 多 种 字符 。 
如 果 软 件 终究 需要 进行 本 地 化 ， 软 件 测 试 员 和 程序 员 就 应 该 摆脱 “古老 ASCII 的 ”的 束缚 ， 而 
转向 Unicode ， 以 节省 时 间 、 减 少 烦 恼 和 软 
件 缺 陷 。 


10.2.3 热 键 和 快捷 键 


英语 单词 Search 用 法 语 说 是 REchercher。 
如 果 在 软件 的 英语 版 中 选择 Search 的 热 键 是 
Alt+S， 那 么 在 法 文 版 中 需要 进行 改变 。 

在 软件 的 本 地 化 版 本 中 ， 需 要 测试 所 有 [一 | 
热 键 和 快捷 键 工作 是 否 正常 ， 而 且 使 用 起 来 ” E> 
不 困难 一 例如， 需要 按 第 3 个 键 。 同 时 ， 图 10-2 Microsoft Word 对 话 框 显示 了 Unicode 标 准 支持 


| 
让 
| 
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不 要 忘记 检查 英文 热 键 和 快捷 键 是 否 被 禁用 。 
10.2.4 扩展 字符 | 


本 地 化 软件 ， 甚 至 非 本 地 化 软件 中 存在 的 一 个 常见 问题 是 扩展 字符 (extended characters) 
的 处 理 。 回 顾 古 老 的 ASCII 码 表 ， 扩 展 字 符 是 指 普通 英文 字母 A~Z 和 a~z 之 外 的 字符 。 这 样 的 
例子 有 重音 字符 ， 例 如 José 中 的 6 和 El-Niiio 中 的 i; 还 包含 了 许多 在 键盘 上 见 不 到 的 象形 字符 ， 
如 四 40 等。 如 果 软 件 中 使 用 Unicode 或 者 正确 地 组 织 代码 页 或 者 DBCS 来 编写 ， 这 就 不 成 问 
题 ， 但 是 软件 测试 员 从 来 不 假设 ， 因 此 这 值得 检查 。 

测试 扩展 字符 的 方法 是 找 出 软件 中 所 有 接受 字符 输入 和 输出 之 处 。 在 每 一 处 都 尝试 使 用 
扩展 字符 ， 看 能 否 与 常规 字符 一 样 处 理 。 对 话 框 、 登 录 画面 和 所 有 文本 域 都 是 合适 的 对 象 。 
通过 调制 解 调 器 可 以 收发 扩展 字符 吗 ? 能 使 用 扩展 字符 命名 文件 ， 甚 至 在 文件 中 包含 扩展 字 
符 吗 ? 它们 能 否 正确 打印 ? 在 程序 之 间 剪 切 、 复 制 和 粘贴 扩展 字符 会 怎样 ? 


技巧 ”测试 扩展 字符 是 否 被 正确 处 理 的 最 简单 的 方法 是 ， 把 它们 加 入 测试 的 标准 字符 
所 在 的 等 价 划分 中 。 和 处 于 ASCII 表 边界 上 容易 导致 软件 缺陷 的 字符 一 起 ， 加 进 一 个 
下、 一 个 人 和 一 个 有 。 


“10.2.5 字符 计算 


与 扩展 字符 有 关 的 问题 是 软件 在 对 其 进行 计算 时 如 何 解释 。 关 于 这 方面 的 两 个 例子 是 文 
字 排 序 和 大 小 写 转换 。 

测试 的 软件 对 文字 列表 排序 或 者 按 字 母 排列 吗 ? 也 许 在 诸如 文件 名 、 网 站 地 址 等 可 选项 
县 的 列表 框 中 进行 ? 如 果 是 ， 如 何 对 以 下 文字 排序 ? 


Kopiéren Reiste 
Armilich Arg 
Reiskorn résumé 
ReiBaus kopieén 
reiten Reisschnaps 


reiBen resume 


如 果 测 试 的 软件 在 亚洲 地 区 销售 ， 那 么 是 否 意识 到 排序 的 依据 是 书写 字符 的 笔画 次 序 ? 
上 面 的 列表 如 果 用 中 文 写 ， 排 列 次 序 就 完全 不 同 。 要 秀清 楚 测 试 的 语言 采用 什么 样 的 排序 规 
则 ， 并 开发 测试 用 例 专门 检查 排列 次 序 的 正确 性 。 

扩展 字符 计算 打破 的 另 一 个 领域 是 大 小 写 转换 。 这 是 一 个 问题 因为 许多 程序 员 在 学 校 
学 会 的 大 小 写 转换 “技巧 ”是 在 字母 的 ASCII 值 上 加 / 减 32 实 现 大 小 写 转换 。 在 A 的 ASCII 值 
上 加 32，、 就 得 到 a 的 ASCII 值 。 遗 憾 的 是 ， 这 不 适用 于 扩展 字符 。 如 果 对 Apple Mac 扩 展 字 符 
集运 用 该 技术 ， 就 会 把 六 (ASCII 值 为 132) 转换 为 8 (ASCII 值 为 154)， 而 不 是 去 (ASCII 值 
为 150 ° 
分 类 和 按 字母 顺序 排列 只 是 两 个 例子 。 仔 细 查 看 软件 确定 是 否 还 有 对 字母 或 文字 进行 计 
算 的 其 他 情况 ， 比 如 拼写 检查 ? 
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10.2.6 从 左 向 右 和 从 右 向 左 读 


翻译 中 有 一 个 大 难题 是 某 些 语 言 (例如 希 伯 菜 文 和 阿拉 伯 文 ) 从 右 向 左 读 ， 而 不 是 从 左 
向 右 读 。 想 像 一 下 把 整个 用 户 界面 镜像 翻转 是 什么 情形 。 

幸好 大 多 数 主 要 操作 系统 提供 了 处 理 这 些 语言 的 内 部 支持 。 如 果 没 有 这 一 点 ， 完 成 任务 
几乎 是 不 可 能 的 。 即 便 如 此 ， 翻 译 这 样 的 文本 也 不 是 容易 的 事 。 利 用 操作 系统 的 特性 来 实现 
这 些 需 要 大 量 的 编程 工作 。 从 测试 的 角度 看 ， 把 它 当 做 全 新 的 产品 ， 而 不 仅 是 本 地 化 产品 比 
较 稳 妥 。 


10.2.7 图 形 中 的 文字 


另 一 个 翻译 问题 是 处 理 图 形 中 的 文字 。 图 10-3 给 出 了 几 个 例子 。 

图 10-3 中 的 图 标 是 选择 粗 体 、 斜 体 、 下 划 线 和 字体 颜色 的 标准 图 标 。 由 于 它们 使 用 英文 
字母 B、I、U 和 A 表示 ， 因 此 对 不 讲 英文 的 日 本 人 毫 无 意义 。 
它们 还 借助 外 观 表达 含义 一 -B 有 一 点 儿 黑 ，I 是 倾斜 的 ，U 下 Fo 
方 有 一 条 线 一 但 是 软件 不 是 猜 恋 。 人 

它 的 影响 是 当 软 件 本 地 化 时 ， 每 一 个 图 标 都 要 改变 ， 以 。 四， ”Wo 2 中 有 准 以 翻译 
反映 新 的 语言 。 如 果 有 不 少 这 样 的 图 标 ， 本 地 化 程序 就 会 耗 。 ”的 位 四 文 字 的 一 些 例子 
资 巨大 。 要 在 开发 周期 的 早期 找 出 图 形 文本 软件 缺陷 ， 而 不 要 留 到 最 后 发 现 。 


10.2.8 让 文本 与 代码 脱离 


最 后 要 讨论 的 翻译 问题 是 白 盒 测 试问 题 一 让 文本 与 代码 脱离 。 这 句 话 的 意思 是 说 所 有 文 
本 字符 串 、 错 误 提 示 信 息 和 其 他 可 以 翻译 的 内 容 都 应 该 存放 在 与 源 代 码 独立 的 文件 中 。 应 该 
杜绝 如 下 代码 : 


Print "Hello World" 


大 多 数 本 地 化 人 员 不 是 程序 员 ， 也 没有 必要 是 。 让 他 们 修改 源 代码 ， 进 行 语言 翻译 ， 既 
没有 把 握 又 有 风险 。 他 们 要 修改 的 是 称 为 资源 文件 (resource file) 的 简单 文本 文件 ， 该 文件 
包含 软件 可 以 显示 的 全 部 信息 。 当 软件 运行 时 ， 通 过 查找 该 文件 来 引用 信息 ， 不 管 信 息 的 内 
容 是 什么 。 无 论 信息 是 英文 或 丹麦 文 ， 都 按照 原文 显示 。 

这 就 是 说 ， 对 于 白 盒 测 试 员 来 说 ， 检 查 代码 ， 确 保 没 有 任何 嵌入 的 字符 串 未 出 现在 外 部 
文本 文件 中 很 重要 。 如 果 在 西班牙 语 程序 中 的 一 个 重要 错误 提示 信息 以 英语 的 方式 出 现 将 是 
很 令 人 槛 碎 的 。 

这 个 问题 的 另 一 个 变化 形式 是 当代 码 动态 生成 文本 信息 时 。 例 如 ,， 它 可 能 用 一 些 文本 雁 
， 片 拼凑 成 一 个 大 的 提示 信息 。 代 码 可 能 把 以 下 3 个 字符 串 : 

1) “You pressed the” 

2) 包含 用 按键 名 称 的 变量 字符 串 

3) “Key just in time!” 

放 在 一 起 组 成 一 条 提示 信息 。 如 果 变 量 字符 串 的 值 为 stop nuclear reaction， 整 条 信息 就 是 : 
You pressed the stop nuclear reaction key just in timel 


问题 在 于 各 种 语言 的 文字 顺序 是 不 一 样 的 。 虽 然 在 英文 中 可 以 很 好 地 拼 在 一 起 ， 但 是 用 
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中 文 甚至 德 文 独立 翻译 每 一 个 短语 ， 拼 在 一 起 就 会 发 生 混乱 。 所 以 不 要 把 字符 串 直接 放 进 代 
码 ， 也 不 要 用 代码 来 连接 字符 串 。 

10.3 本 地 化 问题 


如 前 所 述 ， 翻 译 问题 只 是 全 部 问题 的 一 半 。 翻 译文 字 和 人 允许 字符 串 包 含 不 同 字符 和 长 度 
都 不 难 。 难 的 是 修改 软件 使 其 适应 国外 市 场 。 
提醒 还 记得 第 3 章 “ 软 件 测试 的 实质 ”中 的 一 些 术 语 : 精确 、 准 确 、 可 靠 性 和 质量 吗 ? 


经 过 准确 翻译 和 仔细 测试 的 软件 是 精确 和 可 靠 的 ， 但 是 如 果 程 序 员 不 考虑 本 地 化 的 问题 ， 
程序 就 可 能 不 够 准确 和 高 质量 。 一 个 软件 可 能 外 观 和 感觉 很 佳 、 容 易 理解 、 极 其 稳定 ， 但 是 对 
于 其 他 地 方 的 人 来 说 ， 它 可 能 是 完全 错误 的 。 首 先 保证 产品 正确 地 本 地 化 , .才能 谈 到 下 一 步 。 


10.3.1 内 容 
如 果 用 美国 英语 编写 的 新 软件 百科 全 书包 含 如 图 10-4 所 示 的 内 容 ， 美 国人 会 怎么 想 ? 





左 侧 行驶 


英国 足球 
图 10-4 美国 百科 全 书 中 包含 这 些 内 容 样本 是 不 可 思议 的 


在 美国 ，soccer ball (美式 足球 ) 与 football ( 英 式 足球 ) 不 是 一 回 事 ! 司机 不 能 左 侧 行 
驶 ! 这 些 对 美国 人 来 说 可 能 不 对 ,但 是 在 其 他 国家 则 可 能 是 千 真 万 确 的 。 如 果 测 试 将 要 本 地 
化 的 产品 ， 就 需要 仔细 检查 内 容 ， 以 确保 其 适应 使 用 该 软件 的 地 区 。 

这 里 所 说 的 内 容 是 指 产 品 中 除了 代码 之 外 的 所 有 东西 (参见 第 2 章 “ 软 件 开发 的 过 程 ” )。 
以 下 清单 给 出 了 解决 本 地 化 问题 要 仔细 审查 的 各 类 内 容 。 不 要 把 它 当 做 完整 清单 ， 根 据 具 体 
产品 还 有 更 多 例子 。 考 虑 一 下 软件 如 果 输 送 到 其 他 国家 还 会 有 哪些 内 容 可 能 出 问题 。 

范例 文档 图 标 


图 片 声音 

视频 帮助 文件 

有 边界 争端 的 地 图 市 场 宣 传 材 料 
包装 Web 链 接 
鼻子 太 长 


1993 年 ，Microsoft 公 司 发 布 了 两 个 儿童 产品 Creative Writer 和 Fine Artist。 这 两 个 
产品 用 一 个 名 叫 McZee 的 助手 形象 来 指导 孩子 使 用 软件 ， 为 选择 McZee 的 外 有 狐 、 肤 色 、 
举止 和 个 性 等 ， 公 司 进行 了 大 量 研究 。 最 后 他 变 成 了 一 个 面目 坷 特 的 家 伙 ， 泡 牙 、 深 
此 色 友 肤 :， 大 友子 。 

遗憾 的 是 ， 花 费 巨 大 精力 绘制 完 这 个 将 在 屏幕 上 出 现 的 动画 人 物 之 后 ， 从 
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IMicrosoft 国 外 办 事 处 来 了 一 个 电话 。 他 们 曾经 拿 到 了 该 软件 的 预览 版 ， 经 过 审查 之 后 
认为 无 法 接受 。 原 因 如 下 : MecZee 的 看 子 太 长 了 。 在 他 们 的 文化 中 ， 有 大 在 子 的 人 不 
是 一 般 人 ， 大 于 子 总 是 令 人 与 各 种 反面 人 物 形象 联系 起 来 。 他 们 说 除非 该 产品 针对 该 
地 区 进行 本 地 化 ， 否 则 根本 没 人 买 。 

由 于 为 每 一 个 市 场 单 独创 造 不 同 的 McZee 形 象 代价 太 高 了 ， 因 此 大 春子 的 McZee 
艺术 形象 被 抛 庆 ， 而 采用 第 一 次 为 他 设计 的 鼻子 形象 。 


最 后 要 说 的 是 ,软件 中 包含 的 内 容 无 论 是 文字 、 图 形 、 声 音 还 是 别 的 ， 都 特别 容易 引起 


本 地 化 问题 。 在 测试 有 关内 容 的 这 些 问题 时 ， 如 果 对 使 用 软件 的 地 区 文化 不 了 解 ， 一 定 要 找 
一 个 熟悉 该 地 区 文化 的 人 帮忙 。 


10.3.2 数据 格式 


不 同 的 地 区 在 诸如 货币 、 时 间 和 度量 衡 上 使 用 不 同 的 数据 单位 格式 。 与 内 容 一 样 ， 这 些 
是 本 地 化 问题 ， 而 不 是 翻译 问题 。 一 个 用 美国 英语 发 布 ， 使 用 英寸 的 程序 不 能 只 靠 文本 翻译 
变 为 使 用 厘米 ， 而 是 需要 修改 代码 ， 以 改变 基本 的 公式 和 网 格 线 等 。 

表 10-1 给 出 了 在 测试 本 地 化 软件 时 需要 熟悉 的 不 同 种 类 的 单位 。 

表 10-1 本 地 化 软件 的 数据 格式 问题 


单 位 ， 和 间 题 

度量 单位 、 米 制 还 是 英制 : . 米 和 英尺 “- 

数字 逗号 、 小 数 点 或 者 空白 分 隔 符 ; 负数 表示 法 ; 并 号 对 数字 的 表示 ; 1.200,00 和 1200.00 
或 -100 和 (100) 

货币 不 同 的 符号 及 其 位 置 : 30? 和 ? 30 

日 期 年 月 日 的 顺序 ， 分 隔 符 ; 前 导 零 ;长 格式 和 短 格式 : dd/mm/yy 和 mm/dd/yy 或 May 
5,2005 和 15 de mayo 2005 

时 间 12 小 时 制 还 是 24 小 时 制 ; 分 隔 符 : 3:30pm 和 15:30 

日 历 不 同 的 日 历 和 起 始 日 期 : 在 有 的 国家 星期 天 不 是 一 周 的 第 一 天 

地 址 行 次 序 ; 使 用 的 邮政 编码 : 98072 和 T2N 0E6 

电话 号 码 圆 括号 还 是 短线 分 隔 符 : (425)555-1212 和 425-555-1212 和 425.555.1212 

纸张 大 小 不 同 的 纸张 和 信封 尺寸 : 美式 信封 和 A4 


幸运 的 是 ， 大 多 数 设 计 用 于 多 个 地 区 的 操作 系统 都 支持 这 些 不 同 的 单位 及 其 格式 ， 图 10-5 
给 出 了 一 个 取 自 Windows 的 例子 。 有 了 这 种 内 置 支持 ， 程 序 员 编写 本 地 化 软件 就 容易 多 了 ， 但 
是 也 并 非 绝 对 安全 。 


注意 ”软件 内 部 处 理 单位 的 方式 并 不 需要 和 单位 的 显示 方式 一 致 。 例 如 ， 在 区 域 设 
置 程序 中 的 日 期 选项 卡 上 显示 了 短 日 期 格式 m/d/yy。 这 并 不 是 说 操作 系统 只 处 理 两 
位 数字 的 年 份 (这 样 会 出 现 千 年 虫 问题 )。 在 这 种 情况 下 ， 该 设置 仅 意味 着 显示 两 ， 
位 数字 的 年 份 ， 操 作 系 统 仍 然 支持 4 位 数字 的 年 份 的 计算 。 这 是 测试 时 要 多 考虑 的 
一 件 事 。 


如 果 测 试 本 地 化 软件 ， 就 需要 对 当地 使 用 的 度量 单位 非常 熟悉 。 为 了 正确 测试 软件 ， 需 
要 从 原版 软件 创建 的 测试 数据 中 建立 不 同 的 等 价 划 分 。 
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图 10-5 Windows 的 区 域 设置 选项 允许 用 户 选 择 数字 、 货 币 、 时 间 和 日 期 的 显示 方式 


10.4 配置 和 兼容 性 问题 


第 8 章 “配置 测试 ”和 第 9 章 “兼容 性 测试 ”中 关于 配置 和 兼容 性 测试 的 信息 ， 对 于 软件 
本 地 化 版 本 测试 相当 重要 。 测 试 软件 与 各 种 硬件 和 软件 交互 时 出 现 的 问题 在 遇 到 全 新 且 不 同 
的 组 合 时 会 愈 发 扩大 。 此 类 测试 不 一 定 更 加 困难 ， 只 是 任务 量 更 大 了 。 这 也 对 寻找 和 获取 用 
于 测试 的 国外 版 本 硬件 和 软件 的 后 勤 准 备 工作 提出 了 更 多 的 任务 。 


10.4.1 国外 平台 配置 


Windows XP 支持 106 种 不 同 的 语言 和 66 种 不 同 的 键盘 布局 ， 通 过 Control Panel 的 Keyboard 
Properties 对 话 框 来 设置 ， 如 图 10-6 所 示 。 选 择 语言 的 下 拉 列 表 从 阿富汗 语 到 乌克兰 语 ， 包 括 
美国 英语 之 外 8 种 版 本 的 英语 (澳大利亚 、 英 格 兰 、 加 拿 大 、 加 勒 比 、 爱 尔 兰 、 牙 买 加 、 新 西 
兰 和 南非 )、5 种 德语 分 支 和 20 种 西班牙 语 分 支 。 


| 


图 10-6 Windows 通 过 Keyboard Properties 对 话 框 支 持 使 用 不 同 的 键盘 和 语言 
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图 10-7 给 出 了 设计 用 于 不 同 国家 的 三 种 键盘 布局 的 示例 。 请 注意 每 一 种 键盘 都 有 自己 语 
言 的 专用 键 ， 同 时 也 有 英文 字母 键 。 这 很 正常 ， 因 为 英语 是 许多 国家 的 第 二 语言 ， 这 样 就 允 
许 该 键盘 用 于 同时 使 用 当地 语言 和 英语 的 软件 。 
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图 10-7 阿拉 伯 、 法 国 和 俄罗斯 键盘 支持 本 国语 言 的 专用 键 (www .fingertipsoft.com ) 


键盘 也 许 是 语言 依赖 性 最 大 的 硬件 ， 但 是 根据 测试 内 容 ， 还 有 很 多 其 他 硬件 也 是 如 此 。 例 
如 ， 打 印 机 需要 打印 出 软件 发 送 的 所 有 字符 ， 并 且 在 不 同 国家 使 用 的 各 种 规格 纸张 上 以 正确 格 
式 输出 结果 。 如 果 软 件 使 用 调制 解 调 器 ， 就 可 能 存在 与 电话 线 或 者 通信 协议 差异 有 关 的 问题 。 
从 根本 上 讲 ， 软 件 可 能 会 用 到 的 任何 外 设 都 要 在 平台 配置 和 兼容 性 测试 的 等 价 划 分 中 考虑 。 


注意 ”在 设计 等 价 划分 时 ， 不 要 忘 了 应 该 考虑 构成 平台 的 所 有 硬件 和 软件 ， 包 括 硬 件 
本 身 、 设 备 驱动 程序 和 操作 系统 。 在 Mac 机 上 使 用 法 文 打印 机 、 英 文 操作 系统 以 及 德 
文 版 的 软件 ， 有 可 能 是 一 种 非常 合理 的 用 户 配置 。 


10.4.2 数据 兼容 性 


与 平台 配置 测试 一 样 ， 当 增加 了 本 地 化 问题 之 后 ， 数 据 的 兼容 性 测试 也 具有 了 全 新 的 意 
义 。 图 10-8 说 明了 在 两 个 应 用 程序 之 间 转 移 数据 可 能 会 变 得 非常 复杂 。 在 该 例 中 ， 使 用 公制 
单位 和 扩展 字符 的 德 文 应 用 程序 可 以 通过 读 写 磁 盘 或 者 剪 切 、 粘 贴 操 作 把 数据 移 至 法 文 程序 
中 。 然 后 法 文 应 用 程序 可 以 导出 数据 ， 再 导入 到 英文 应 用 程序 中 ， 英 文 程序 使 用 英制 单位 和 
非 扩 展 字 符 ， 然 后 再 把 数据 移 回 原来 的 德 文 应 用 程序 中 。 

在 这 个 循环 往复 的 数据 传输 过 程 中 ， 由 于 存在 所 有 的 度量 单位 和 扩展 字符 转换 和 处 理 ， 
因此 很 多 地 方 可 能 有 软件 缺陷 。 其 中 一 些 软件 缺陷 可 能 源 于 设计 上 的 判断 ， 例 如 ， 在 应 用 程 
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序 之 间 移 动 数据 时 如 果 需 要 改变 格式 会 怎样 ? 格式 会 自动 转换 ， De 
会 显示 错误 提示 还 是 坚持 移动 数据 并 更 改 单 位 ? 





图 10-8 本 地 化 软件 的 数据 兼容 性 测试 可 能 会 变 得 非常 复杂 


在 测试 本 地 化 软件 的 兼容 性 之 前 需要 回答 这 些 重要 的 问题 。 一 旦 明确 了 这 些 问 题 ， 就 可 
以 正常 进行 兼容 性 测试 了 一 一 只 需要 在 等 价 划 分 中 增加 一 些 测 试用 例 。 


10.5 测试 量 有 多 大 


围绕 本 地 化 测试 的 不 确定 问题 是 软件 测试 工作 量 究竟 有 多 大 。 假 如 花 了 6 个 月 测试 美国 英 
文 版 ， 那 么 测试 法 文本 地 化 版 本 也 要 花 6 个 月 吗 ? 会 不 会 因为 配置 和 兼容 性 问题 增加 而 花费 更 
多 时 间 ? 

这 个 复杂 的 问题 落 到 了 两 个 问题 上 : 

项 目 从 一 开始 就 计划 本 地 化 了 吗 ? 

。 本 地 化 版 本 中 更 改 程序 代码 了 吗 ? 

如 果 软 件 从 一 开始 设计 就 考虑 到 了 本 章 所 述 的 问题 ， 那 么 本 地 化 版 本 中 包含 更 多 软件 缺 
陷 和 增 大 测试 量 的 风险 就 很 小 。 相 反 ， 如 果 软 件 专门 为 美国 英语 市 场 编写 ， 后 来 决定 本 地 化 
为 其 他 语言 ， 那 么 明智 的 做 法 是 把 软件 当做 需要 进行 全 部 测试 的 全 新 版 本 。 


注意 ”本 地 化 测试 量 的 要 求 是 一 个 有 风险 的 抉择 ， 症 有 用 本 机 人 5 随 着 测试 经 验 
的 增长 ， 就 会 知道 决定 过 程 中 有 哪些 变数 。 


另 一 个 问题 关系 到 整个 软件 产品 中 什么 需要 改变 。 如 果 本 地 化 工作 只 限于 修改 诸如 文本 


ek, Sk 








A; 
劣 的 设计 或 者 其 他 问题 ， 基 本 代码 必须 改变 ， 就 要 考虑 测试 代码 ， 并 且 检 查 功能 和 内 容 。 
软件 本 地 化 了 吗 ? 
计划 要 对 软件 产品 进行 本 地 化 的 开发 小 组 采用 的 一 个 方法 是 测试 本 地 化 能 力 
(localizability )。 也 就 是 说 ， 他 们 测试 产品 的 第 1 个 版 本 ， 假 设 它 最 终 被 本 地 化 。 白 铭 
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测试 员 检查 代码 中 的 文本 字符 事 、 度 量 单位 处 理 、 扩 展 字符 以 及 其 他 代码 级 问题 。 他 
们 甚至 会 创建 “ 伪 ” 本 地 化 版 本 。 黑 金 测 试 员 仔 细 审 查 说 明 书 和 产品 本 身 ， 检 查 诸如 
图 形 、 文 本 和 配置 等 本 地 化 的 问题 。 他 们 会 利用 “ 伪 ” 版 本 进行 兼容 性 测试 。 

最 终 ， 当 产品 本 地 化 时 ， 许 多 在 后 面 才 会 出 现 的 问题 已 经 被 找 出 并 修复 了 ， 本 地 
化 工作 变 得 比较 轻松 费用 也 不 高 。 


10.6 小 结 


Ha On egy ritermett és képzett softver ismer?, és folyékonyan beszEl egy nyelvet az Angolon 
kfviil,On egy nagyon piacképes szakképzett személy. 

这 段 话 与 本 章 开 始 的 一 段 一 
述 可 知 ， 了 解 语言 只 是 整个 本 地 化 产品 测试 的 一 部 分 。 通 过 检查 产品 的 本 地 化 能 力 和 测试 不 
依赖 语言 的 领域 ， 可 以 做 很 多 的 工作 。 

假如 读者 熟练 掌握 除 英语 之 外 的 另 一 种 语言 ， 请 继续 阅读 本 书 ， 学 会 在 软件 测试 中 所 有 
可 以 做 的 工作 。 随 着 经 济 全 球 化 和 计算 机 技术 在 世界 苑 图 的 泛 应 用 ， 你 将 会 像 匈 牙 利 习 语 
中 说 的 那样 “具有 相当 满足 市 场 需 求 的 技能 ”。 

关于 Windows 的 本 地 化 编程 和 测试 的 详情 ， 请 访问 www. microsoft.com/globaldev。 对 于 
Mac 系 统 ， 请 参见 Apple 的 网 站 www.developer.apple.com/intl/iocalization/tools.html。Linux 程 
序 员 和 测试 员 在 站 点 www.linux.com/howtos/HOWTO- INDEX/otherlang, shtml 可 以 找到 本 地 化 
的 内 容 。 


10.7 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答案 参见 附录 人 A 一 但 是 不 要 偷 看 ! 
1. 翻译 和 本 地 化 有 何 区 别 ? 

2. 要 了 解 他 国语 言 才 能 测试 本 地 化 产品 吗 ? 

3. 什么 是 文本 扩展 ， 由 此 可 能 导致 什么 样 的 常见 软件 缺陷 ? 

4. 指出 扩展 字符 可 能 导致 问题 的 一 些 领 域 。 

5. 使 文本 字符 串 与 代码 脱离 为 什么 重要 ? 

6. 说 出 在 本 地 化 程序 之 间 可 能 变化 的 一 些 数据 格式 类 型 。 
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软件 编 出 来 是 要 用 的 。 这 是 明摆着 的 ， 但 是 有 时 在 忙于 设计 、 开 发 和 测试 复杂 产品 时 就 
会 忘记 这 一 点 。 开 发 小 组 在 编写 代码 的 技术 方面 投入 了 太 多 的 时 间 和 精力 ， 然 而 却 忽视 了 软 
件 最 重要 的 方面 一 一 最 终 的 使 用 者 。 软 件 是 戏 和 微波炉、 电话 交换 站 还 是 因特网 股票 交易 网 
站 其 实 无 所 谓 ， 最 终 那些 位 和 字 节 要 呈现 在 需要 交互 的 活生生 的 用 户 面前 。 易 用 性 
(Usability) 是 交互 的 适应 性 、 功 能 性 和 有 效 性 的 集中 体现 。 

大 家 可 能 听 说 过 人 体 工 程 学 (ergonomics) 这 一 术语 ， 这 是 一 门将 日 常 使 用 的 东西 设计 为 
易于 使 用 和 实用 性 强 的 学 科 。 人 体 工程 学 的 主要 目标 是 达到 易 用 性 。 

本 章 短 短 十 几 页 不 会 使 读者 获得 4 年 人 体 工程 学 学 位 的 知识 ， 也 没有 必要 这 样 做 。 记 住 第 
1 章 “ 软 件 测试 的 背景 ”中 构成 软件 缺陷 的 第 5 条 规则 : 软件 难以 理解 、 不 易 使 用 、 运 行 缓慢 
或 者 一 从 测试 员 的 角度 看 一 最 终 用 户 会 认为 不 好 。 这 就 是 易 用 性 测试 的 空白 检查 。 

软件 测试 员 也 许 是 除 程序 员 以 外 第 一 个 使 用 软件 的 人 。 我 们 已 经 熟悉 了 产品 说 明 书 ， 调 查 
了 客户 是 哪些 人 。 如 果 在 测试 过 程 中 ， 测 试 员 使 用 软件 都 出 现 问题 ， 客 户 也 会 有 同样 的 问题 。 

因为 有 众多 不 同类 型 的 软件 ， 所 以 不 可 能 细 讲 所 有 软件 的 易 用 性 问题 。 核 反应 堆 关 闭 顺 
序 的 易 用 性 与 语音 信箱 菜单 系统 的 易 用 性 大 不 相同 。 本 章 讲述 寻找 目标 的 基本 方法 一 一 倾向 
每 天 在 PC 机 上 使 用 的 那些 软件 。 然 后 ， 把 从 中 所 得 运用 到 任何 要 测试 的 软件 上 。 

本 章 重点 包括 : 

。 易 用 性 测试 包括 什么 

。 在 测试 用 户 界 面 时 要 找 什么 

。 有 残疾 障碍 的 人 员 需 要 哪些 特殊 的 易 用 性 功能 


11.1 用 户 界面 测试 


用 于 与 软件 程序 交互 的 方式 称 为 用 户 界面 或 UI。 所 有 软件 都 有 某 种 U1， 纯粹 主义 者 可 能 
会 说 这 不 对 ， 像 汽车 中 控制 发 动机 空 燃 比 的 软件 就 没有 用 户 界面 。 事 实 上 ， 它 只 是 没有 传统 
的 UI， 但 是 施加 力量 、 拉 动 风门 并 从 排 气 管 听 到 劈 哺 的 响声 就 是 真正 的 用 户 界面 。 

大 家 都 熟悉 的 计算 机 UI 随 着 时 间 推移 发 生 了 变化 。 早 期 的 计算 机 有 触发 开关 和 发 光 二 极 
管 。 纸 带 、 穿 孔 卡 和 电 传 打字 机 是 上 世纪 60 年 代 和 70 年 代 最 流行 的 用 户 界面 。 接 着 出 现 了 视 
频 监视 器 和 简单 的 行 编辑 器 ， 例 如 MS-DOS。 现 在 我 们 使 用 的 个 人 计算 机 都 有 复杂 的 图 形 用 
户 界面 (GUI) 。 很 快 我 们 将 可 以 像 和 人 进行 语言 交流 一 样 对 PC 机 讲 ， 听 PC 机 说 。 

虽然 这 些 UI 各 不 相同 ， 但 是 从 技术 上 讲 ， 它 们 与 计算 机 进行 同样 的 交互 一 -提供 输入 和 
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接受 输出 。 
11.2 优秀 UI 由 什么 构成 


许多 软件 公司 花费 大 量 时 间 和 金钱 研究 设计 软件 用 户 界面 的 最 佳 方 法 。 他 们 用 上 了 由 人 
体 工 程 学 专家 运作 管理 的 专业 易 用 性 实验 室 。 这 些 实验 室 装 备 了 单 向 透 光 镜 和 视频 摄像 机 记 
录用 户 使 用 软件 的 情况 。 对 用 户 (主体 ) 所 做 的 任何 行为 ， 从 按 下 哪个 键 ， 如 何 使 用 鼠标 ， 
到 犯 什 么 样 的 错误 ， 对 什么 感到 困惑 ， 都 加 以 分 析 ， 以 改进 UI 的 设计 。 

那么 ， 软 件 测试 员 对 如 此 细致 和 科学 的 过 程 能 做 些 什么 昵 ?在 说 明和 编写 软件 时 ， 就 应 
该 有 一 个 完美 的 UI。 但 是 ， 如 果真 是 这 样 ， 为 什么 有 那么 多 VCR 莫 名 其 妙 地 闪烁 显示 12: 00 
字样 呢 ? 

首先 ， 并 非 每 一 个 软件 开发 小 组 都 那么 科学 地 设计 界面 。 许 多 UI 是 程序 员 胡 乱 拼 竣 
的 一 一 他 们 可 能 善于 编写 代码 ， 但 是 不 一 定 是 人 体 工 程 学 专家 。 其 他 原因 可 能 是 技术 局 限 或 
者 时 间 限 制 ， 使 UI 成 了 辆 牲 品 。 如 第 10 章 “外 国语 言 测 试 ”所 述 ， 原 因 也 许 是 软件 没有 正确 
本 地 化 。 总 之 ， 软 件 测试 员 要 负责 测试 软件 的 易 用 性 ， 包 括 其 用 户 界面 。 

软件 测试 员 可 能 没有 意识 到 自己 在 测试 UI 方面 受到 了 正确 的 培训 ， 但 事实 确实 这 样 。 记 
住 ， 软 件 测试 员 不 需要 去 设计 UI， 只 需要 把 自己 当做 用 户 ， 然 后 去 找 出 UI 中 的 问题 。 

下 面 是 优秀 UI 具备 的 7 个 要 素 。 无 论 UI 是 电子 表 还 是 Mac .OS X 界 面 ， 它 们 都 适用 。 

。 符合 标准 和 规范 

。 直观 

。 一 致 

e 灵活 

。 舒适 

。 正确 

。 实 用 

如 果 阅 读 有 关 UI 设 计 的 书籍 ， 还 会 看 到 其 他 一 些 重 要 的 特性 ， 其 中 大 多 数 来 源 于 或 者 附 
属于 这 7 个 要 素 。 例 如 ,， “容易 学习 ”没有 在 上 面 列 出 ， 但 是 如 果 既 直观 又 一 致 ， 就 容易 学 习 。 
假如 软件 测试 员 专 心 于 保证 软件 的 UI 符合 这 些 原则 ， 就 能 得 到 修补 得 好 的 界面 。 以 下 各 节 详 
细 讨 论 每 一 个 要 素 。 


11.2.1 符合 标准 和 规范 


最 重要 的 用 户 界 面 要 素 是 软件 符合 现行 的 标准 和 规范 一 一 或 者 有 真正 站 得 住 脚 的 不 符合 的 
理由 。 如 果 软 件 在 Mac 或 者 Windows 等 现 有 的 平台 上 运行 ， 标 准 是 已 经 确立 的 。Apple 的 标准 在 
Addison-Wesley 出 版 的 《Macintosh Human Interface Guidelines》 一 书 中 定义 ， 也 可 在 线 获得 ， 
站 点 为 developer.apple.com/documentation/mac/HIGuidelines/HIiGuidelines-2 html。 HMicrosoft 
的 标准 在 Microsoft Press 出 版 的 《Microsoft Windows User Experience》 一 书 中 定义 ， 在 线 版 本 
的 站 点 为 msdn.microsoft.com/library/default.asp?url=/library/en-us/dnwue/html/welcome.asp。 

两 本 书 都 详细 地 说 明了 该 平台 上 运行 的 软件 对 用 户 应 该 有 什么 样 的 外 观 和 感觉 。 每 一 点 
都 进行 了 定义 ， 从 何 时 使 用 复 选 框 而 不 是 单 选 按钮 〈 即 何 时 两 种 选择 状态 是 完全 相反 的 或 者 
不 清楚 )， 到 何 时 使 用 提示 信息 、 警 告 信息 或 者 关键 信息 ， 如 图 11-1 所 示 。 
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注意 ”如果 测试 在 特定 平台 上 运行 的 软件 ， 就 需要 把 该 平台 的 标准 和 规范 作为 产品 说 
明 书 的 补充 内 容 。 像 对 待产 品 说 明 书 一 
样 ， 根 据 它 建立 测试 用 例 。 


这 些 标准 和 规范 由 软件 易 用 性 专家 开发 
(但 愿 如 此 )。 它 们 是 经 由 大 量 正规 测试 、 使 
用 、 尝试 和 错误 而 设计 出 的 方便 用 户 的 规则 。 
如 果 软 件 严格 遵守 这 些 规则 ， 优 秀 UI 的 其 他 
要 素 就 自然 具备 。 因 为 开发 小 组 可 能 想 对 标 
准 和 规范 有 所 提高 ， 或 者 规则 不 能 完全 适用 
于 软件 ， 所 以 并 不 会 完全 遵守 这 些 规则 。 在 ee 
这 种 情况 下 ， 软 件 测试 员 就 需要 真正 注意 易 ”图 11-1 曾经 注意 到 Windows 中 有 3 种 级 别 的 信息 吗 ? 
用 性 问题 。 Windows 用 户 界面 标准 中 定义 每 一 种 信息 
平台 也 可 能 没有 标准 ， 也 许 测试 的 软件 使 用 的 时 机 和 方式 

就 是 平台 本 身 。 在 这 种 情况 下 ， 设 计 小 组 可 能 成 为 软件 易 用 性 标准 的 创立 者 。 不 能 想当然 地 
接受 别人 制定 的 规则 ， 并 且 优 秀 用 户 界面 的 其 余 要 素 更 有 必要 遵守 。 


11.2.2 直观 


1975 年 ， 第 1 台 个 人 计算 机 MITS (微型 仪器 遥测 系统 ) Altair 8800 面 世 了 。 它 的 用 户 界 面 
( 见 图 11-2) 除了 开关 和 指示 灯 外 一 无 所 有 一 一 使 用 起 来 特别 不 直观 。 








图 11-2 MITS Altair 8800 及 其 不 直观 的 用 户 界面 
(照片 取材 于 美国 计算 机 博物 馆 www.computermuseum.org ) 


Altair 是 为 计算 机 爱好 者 设计 的 ， 他 们 对 于 用 户 界 面 问题 极其 宽容 。 今 天 ， 用 户 对 软件 的 
要 求 远 比 Altair 8800 所 能 提供 的 高 多 了 。 每 一 个 人 一 一 从 老 太 太 到 小 孩子 到 专家 博士 都 在 日 党 
生活 中 使 用 计算 机 。 具 有 极其 直观 UI 的 计算 机 就 是 人 们 甚至 没有 意识 到 自己 正在 使 用 的 那 种 
计算 机 。 

在 测试 用 户 界面 时 ， 考 虐 以 下 问题 ， 以 及 如 何 用 来 衡量 软件 的 直观 程度 : 

。 用 户 界面 是 否 洁净 、 不 唐 突 、 不 拥挤 ?UI 不 应 该 为 用 户 使 用 制造 障碍 。 所 需 功能 或 者 

期 待 的 响应 应 该 明显 ， 并 在 预期 出 现 的 地 方 。 

。UI 的 组 织 和 布局 合理 吗 ? 是 否 允 许 用 户 轻松 地 从 一 个 功能 转 到 另 一 个 功能 ? 下 一 步 做 
什么 明显 吗 ” 任 何 时 刻 都 可 以 决定 放弃 或 者 退回 、 退 出 吗 ? 输入 得 到 确认 了 吗 ? 菜单 或 
者 窗口 是 否 太 深 了 ? 
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。 有 多 余 功能 吗 ? 软件 整体 抑或 局 部 是 否 做 得 太 多 ? 是 否 有 太 多 特性 把 工作 复杂 化 了 ? 是 
否 感到 信息 太 庞 杂 ? 
。 如 果 其 他 所 有 努力 失败 ， 帮 助 系 统 真能 帮忙 吗 ? 


11.2.3 一 致 


被 测试 软件 本 身 以 及 与 其 他 软件 的 一 致 是 一 个 关键 属性 。 用 户 使 用 习惯 了 ， 和 希望 对 一 个 
程序 的 操作 方式 能 够 带 到 另 一 个 程序 中 。 图 11-3 给 出 了 本 应 符合 一 个 标准 ， 但 却 不 一 致 的 两 
个 Windows 应 用 程序 的 例子 。 在 记事 本 程序 中 ，Find 命 令 通过 Search 菜 单 或 者 按 F3 键 访问 。 在 
与 其 非常 类 似 的 写字 板 程序 中 ，Find 命 令 通 过 Edit 菜 单 或 者 按 Ctrl+F 组 合 键 访问 。 





图 11-3 Windows 记 事 本 程序 和 写字 板 程 序 在 Find 特 性 的 访问 方式 上 不 一 致 


像 这 样 的 不 一 致 会 使 用 户 从 一 个 程序 转向 另 一 个 程序 时 有 挫折 感 。 同 一 个 程序 中 的 不 一 
致 就 更 糟糕 。 如 果 软 件 或 者 平台 有 一 个 标准 ， 就 要 遵守 它 。 如 果 没 有 ， 就 要 注意 软件 的 特性 ， 
确保 相似 操作 以 相似 的 方式 进行 。 在 审查 产品 时 想 一 想 以 下 几 个 基本 术语 : 

。 快速 键 和 菜单 选项 。 在 语言 信箱 系统 中 ， 按 0 键 ， 而 不 按 其 他 数字 ， 几 乎 总 是 代表 接 通 

某 人 的 “ 拨 出 ”按钮 。 在 Windows 中 ， 按 F1 键 总 是 得 到 帮助 信息 。 

e 术 语 和 命名 。 整 个 软件 使 用 同样 的 术语 吗 ? 特性 命名 一 致 吗 ? 例如 ， Find 是 否 一 直 叫 

Find， 而 不 是 有 时 叫 Search? 

。 听众 。 软 件 是 否 一 直面 向 同一 级 别 的 听众 ? 带 有 花哨 用 户 界 面 的 趣味 贺卡 程序 不 应 该 显 

示 泄 露 技术 机 密 的 错误 提示 信息 。 

。 诸如 OK 和 Cancel 按 钮 的 位 置 。 大 家 是 否 注意 到 Windows 中 OK 按钮 总 是 在 上 方 或 者 左 方 ， 

而 Cancel 按 钮 总 是 在 下 方 或 者 右 方 ? 键盘 上 对 应 按钮 的 等 价 按键 也 应 该 一 致 。 例 如 ， 

Cancel 按 钮 的 等 价 按键 通常 是 Esc， 而 OK 按钮 的 等 价 按钮 通常 是 Enter。 


11.2.4 灵活 


用 户 喜 欢 选 择 一 不 要 太 多 ,但 是 足以 允许 他 们 选择 想 要 做 的 和 怎样 做 。Windows 计 算 器 
程序 ( 见 图 11-4) 有 两 种 视图 : 标准 型 和 科学 型 。 用 户 可 以 决定 用 哪个 来 完成 计算 ， 或 者 选 
择 最 喜欢 用 哪个 。 

当然 ， 灵 活性 也 带 来 了 复杂 性 。 在 计算 器 例子 中 ， 两 个 视图 就 需要 比 只 有 一 个 视图 进行 
更 多 测试 。 灵 活性 对 于 测试 的 影响 主要 在 第 5 章 所 讲 的 状态 和 数据 : 

。 状态 跳 转 。 灵 活 的 软件 在 实现 同一 任务 上 有 更 多 种 选择 和 方式 。 结 果 是 增加 了 通 向 软件 
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图 11-4 Windows 计 算 机 程序 通过 两 种 视图 体现 了 灵活 性 


各 种 状态 的 途径 。 状 态 转换 图 将 变 得 更 加 复杂 ， 软 件 测试 员 需 要 花费 更 多 时 间 决 定 测试 
哪些 相互 连接 的 路 径 。 

。 状态 终止 和 跳 过 。 当 软件 具有 用 户 非常 熟悉 的 超级 用 户 模式 时 ， 显 然 能 够 跳 过 众多 提示 
或 者 窗口 直接 到 达 想 去 的 地 方 。 能 够 直接 拨 到 公司 电话 分 机 的 语音 信箱 系统 就 是 一 个 例 
子 。 测 试 具 有 这 种 功能 的 软件 时 ， 如 果 中 间 状 态 被 跳 过 或 提前 终止 ， 就 需要 保证 在 跳 过 
所 有 状态 或 提前 终止 时 变量 被 正确 设置 。 

。 数据 输入 和 输出 。 用 户 希望 有 多 种 方法 输入 数据 和 查看 结果 。 为 了 在 写字 板 文档 中 插入 
文字 ， 可 以 用 键盘 输入 、 粘 贴 、 从 6 种 文件 格式 读 入 、 作 为 对 象 插入 ， 或 者 用 鼠标 从 其 
他 程序 拖 动 。Microsoft Excel 电 子 表格 程序 允许 用 户 以 14 种 标准 和 20 种 自 定义 图 形 的 形 
式 查看 数据 。 谁 知道 到 底 有 多 少 可 能 的 组 合 ? 测试 进出 软件 的 各 种 方式 ， 将 极 大 增加 必 
要 的 工作 量 ， 使 等 价 划分 难以 抉择 。 


11.2.5 舒适 


软件 用 起 来 应 该 舒适 ， 而 不 应 该 为 用 户 工作 制造 障碍 和 困难 。 软 件 舒 适 性 是 相当 讲究 感 
. 觉 的 。 研 究 人 员 花 费 了 大 量 的 精力 设法 找 出 软件 舒适 的 正确 公式 。 这 是 难以 量化 的 概念 ， 但 
是 可 以 找到 如 何 鉴别 软件 舒适 性 好 坏 的 一 些 好 想法 : 
。 恰当 。 软 件 外 观 和 感觉 应 该 与 所 做 的 工作 和 使 用 者 相符 。 金 融 商业 应 用 程序 不 应 该 用 绚 
丽 的 色彩 和 音效 来 表现 出 狂放 的 风格 。 相 反 ， 太 空 游 戏 可 以 不 管 这 些 规则 。 软 件 对 于 想 
执行 的 任务 既 不 要 太 夸 张 也 不 要 太 朴 素 。 
。 错误 处 理 。 程 序 应 该 在 用 户 执行 关键 操作 之 前 提出 
警告 ， 并 且 人 允许 用 户 恢复 由 于 错误 操作 而 丢失 的 数 
据 。 现 在 大 家 认为 Undo/Redo 特 性 是 想当然 的 ， 但 





是 在 不 久之 前 这 些 特性 根本 没有 。 
。 性 能 。 快 不 见得 是 好 事 。 不 少 程序 的 错误 提示 信息 ”图 11-5 状态 条 显示 已 经 完成 了 多 少 
一 闪 而 过 ， 无 法 看 清 。 如 果 操作 缓慢 ， 至 少 应 该 向 工作 ， 还 有 多 少 工作 没 做 


用 户 反 馈 操作 持续 时 间 ， 并 且 显 示 它 正在 工作 ， 没 有 停滞 。 如 图 11-5 所 示 的 状态 条 是 实 = 
现 这 一 点 的 流行 方式 。 


11.2.6 正确 
舒适 性 要 素 被 公认 为 是 模糊 的 ， 要 看 怎么 解释 。 然 而 ， 正 确 性 却 不 然 。 测 试 正确 性 ， 就 
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是 测试 UI 是 否 做 了 该 做 的 事 。 图 11-6 给 出 了 一 个 不 正确 UI 的 例子 。 
该 图 显示 了 一 个 流行 的 Windows 页 面 扫描 程序 的 消息 框 。 该 消息 框 在 扫描 开始 时 出 现 
旨 在 为 用 户 提供 中 止 扫描 过 程 的 方式 。 遗 憾 的 是 ， 这 
行 不 通 。 请 注意 光标 是 一 个 沙漏 ， 沙 漏 意味 着 (根据 
Windows 标 准 ) 软件 正在 忙 ， 无 法 接受 输入 。 那 么 ,为 
什么 还 要 有 一 个 Abort 按 钮 呢 ? 在 整个 扫描 过 程 中 尽 可 有 ~ 
以 单 击 Abort 按 钮 ， 可 能 会 花 一 分 钟 或 更 长 的 时 间 ， 但 ”图 11-6 软件 有 一 个 完全 无 用 的 Abort 按 钮 
什么 也 不 会 发 生 。 扫 描 完成 之 前 不 会 中 断 。 如 果 用 沙漏 状 的 光标 单 击 Abort 按 钮 ， 中 止 了 扫描 
过 程 ， 这 是 不 是 个 缺陷 呢 ? 当然 肯定 是 ! 
此 类 正确 性 问题 一 般 很 明显 ， 在 测试 产品 说 明 书 时 就 可 以 发 现 。 然 而 ， 以 下 情况 要 特别 
注意 : 
。 市 场 定位 偏差 。 有 没有 多 余 的 或 者 遗漏 的 功能 ， 或 者 某 些 功能 所 执行 的 操作 与 市 场 
宣传 材料 不 符 ?” 注意 不 是 拿 软件 与 说 明 书 比较 ， 而 是 与 销售 材料 比较 。 这 两 者 通常 
不 一 样 。 
。 语 言 和 拼写 。 有 些 程序 员 的 拼写 和 写作 水 平 低劣 ， 常 常 制造 一 些 非常 有 趣 的 用 户 信息 。 
下 面 是 来 自 一 个 流行 电子 商务 网 站 的 定单 确认 信息 一 -希望 读者 在 阅读 时 改正 它 : 
下 列 信息 如 有 不 符 ， 请 立即 与 我 们 联系 ， 以 确保 及 时 得 到 预订 的 产品 。 
。 不良 媒体 。 媒 体 是 软件 UI 包 含 的 所 有 图 标 、 图 像 、 声 音 和 视频 。 图 标 应 该 同样 大 ， 并 
且 具 有 相同 的 色调 。 声 音 应 该 具有 相同 的 格式 和 采样 率 。 在 UL 上 选择 时 应 该 显示 出 相 
应 正确 的 媒体 来 。 
。WYSIWYG (所 见 即 所 得 ) 。 保 证 UI 显 示 的 就 是 实际 得 到 的 。 当 单 击 Save 按 钮 时 ， 屏 幕 
上 的 文档 与 存 入 磁盘 的 完全 一 样 吗 ? 从 磁盘 读 出 时 ， 与 原文 档 完全 相同 吗 ? 打印 时 ， 输 
出 的 文档 与 屏幕 上 预览 的 文档 完全 匹配 吗 ? 


11.2.7 实用 





是 否 实用 是 优秀 用 户 界面 的 最 后 一 个 要 素 。 请 记 住 ， 这 不 是 指 软件 本 身 是 否 实用 ， 而 仅 
指 具 体 特 性 是 否 实用 。 软 件 业界 描述 不 必要 或 者 不 合理 特性 的 术语 是 “跳动 的 腊肠 ” 
(dancing bologna ) 。 想 想 屏 幕 上 跳 来 跳 去 的 腊肠 一 一 完全 没有 必要 。 

在 审查 产品 说 明 书 、 准 备 测试 或 者 执行 测试 时 ， 想 一 想 看 到 的 特性 对 软件 是 否 具 有 实际 
价值 。 它 们 有 助 于 用 户 执行 软件 设计 的 功能 吗 ? 如果 认为 它们 没 必要 ， 就 要 研究 一 下 找 出 它 
们 存在 于 软件 中 的 原因 。 有 可 能 存在 没有 意识 到 的 原因 ， 或 者 它们 就 是 跳动 的 腊肠 。 这 些 多 
余 的 特性 ,不论 是 在 单 人 纸牌 游戏 程序 或 者 心脏 监视 器 中 ， 对 用 户 都 是 不 利 的 ， 同 时 还 意味 
着 需要 更 多 的 测试 工作 。 


11.3 ”为 有 残疾 障碍 的 人 员 测试 : 辅助 选项 测试 


易 用 性 测试 中 的 一 个 严肃 主题 是 辅助 选项 测试 (accessibility testing ) ， 也 就 是 为 有 残疾 障 
碍 的 人 测试 。1997 年 度 美国 普查 局 的 家 庭 调查 机 构 (SIPP) 的 报告 显示 ， 该 国 中 大 约 五 千 三 
百 万 人 (接近 20% 的 人 口 ) 有 不 同 程度 的 残疾 。 表 11-1 给 出 了 明细 账 。 
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表 11-1 ”残疾 人 年 龄 分 布 


年 ” 龄 残疾 人 百分比 
0~24 18% 
25~44 13% 
45~54 23% 
55~64 36% 
65~69 45% 
70~74 47% 
75~79 58% 

80 十 749% 








用 另 一 种 方法 来 划分 数据 显示 出 ， 有 770 万 人 阅读 报纸 上 的 文字 有 困难 ， 有 180 万 人 是 育 
人 ，800 万 人 听力 有 障碍 。 

随 着 人 口 老龄 化 和 技术 逐步 渗透 到 生活 的 方方面面 ， 软 件 易 用 性 日 益 重 要 了 。 

残疾 有 许多 种 ， 但 只 有 下 列 几 种 残疾 对 使 用 计算 机 和 软件 会 造成 极 大 的 困难 : 

。 视力 损伤 。 色 盲 、 严 重 近视 和 远视 、 弱 视 、 散 光 、 白 内 障 是 视力 缺陷 的 例子 。 有 一 种 或 
者 多 种 视力 缺陷 的 人 使 用 软件 时 存在 着 独特 的 困难 。 想 像 一 下 试图 看 清 鼠 标的 位 置 或 者 
屏幕 上 出 现 的 文字 或 者 小 图 形 的 情形 。 如 果 根 本 看 不 见 屏幕 会 怎么 样 呢 ? 

e。 上 听力 损伤 。 某 些 人 是 全 故 或 者 半 侮 ， 听 不 到 特定 频率 的 声音 ， 无 法 在 背景 音 中 分 辨 出 特 
别 的 声音 。 这 种 人 听 不 到 伴随 视频 的 声音 、 语 音 帮助 和 系统 警告 。 

。 运动 损伤 。 疾 病 和 受伤 可 以 致使 人 的 手 或 者 手臂 形 失 部 分 或 者 全 部 运动 能 力 。 某 些 人 难 
以 正确 使 用 键盘 或 者 鼠标 ， 甚 至 完全 不 行 。 例 如 ， 他 们 可 能 做 不 到 一 次 按 多 个 键 ， 甚 至 
不 能 每 次 只 按 一 个 键 ， 连 准确 移动 鼠标 也 做 不 到 。 

。 认 知 和 语言 障碍 。 诵 读 困 难 和 记忆 问题 可 能 造成 某 些 人 使 用 复杂 用 户 界面 困难 。 想 一 想 
本 章 前 面 列 出 的 问题 ， 以 及 认 知 和 语言 障碍 对 人 的 影响 。 


11.3.1 法 律 要 求 


幸亏 开发 残疾 人 可 以 使 用 的 用 户 界面 的 软件 不 仅仅 是 好 想法 、 规 范 或 者 标准 一 一 而 常常 是 
法 律 。 在 美国 ， 有 3 条 法 律 适用 于 该 领域 ， 其 他 国家 正在 考虑 采用 类 似 的 法 律 : 

。 美国 公民 残疾 人 条 例 (ADA) 声明 ，15 人 以 上 的 商业 机 构 必 须 在 合理 范围 迁就 残疾 人 
就 职 或 者 预备 就 职 。ADA 最 近 应 用 到 了 商业 因特网 网 站 ， 强 制 这 些 网 站 要 能 被 公众 访 
问 到 。 、 

。 居 民 条 例 第 508 款 与 ADA 非 常 相 同 ， 适 用 于 任何 接受 联邦 基金 资助 的 机 构 。 

。 通 信条 例 第 255 款 要 求 通过 因特网 、 局 域 网 或 者 电话 线 传输 信息 的 所 有 硬件 和 软件 必须 
能 够 由 残疾 人 使 用 。 如 果 不 能 直接 使 用 ， 也 必须 与 现 有 的 硬件 和 软件 辅助 选项 兼容 ( 见 
:第 8 章 “ 配 置 测试 ”和 第 9 章 “ 兼 容 性 测试 )。 


11.3.2 软件 中 的 辅助 特性 


软件 可 以 有 两 种 方式 提供 辅助 。 最 容易 的 方式 是 利用 平台 或 者 操作 系统 内 置 的 支持 。 
Windows，Mac OS，Java 和 Linux 都 在 一 定 程度 上 支持 辅助 选项 。 软 件 只 要 遵守 启用 辅助 选项 
与 键盘 、 和 鼠标 、 声 卡 和 显示 器 通信 的 平台 标准 就 行 了 。 图 11-7 给 出 了 一 个 Windows 辅 助 选项 设 
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置 控制 面板 的 例子 。 
如 果 测 试 的 软件 不 在 这 些 平 台 上 运行 ， 或 者 本 身 就 是 平台 ， 就 需要 定义 、 编 制 和 测试 自 
己 的 辅助 选项 。 
后 一 种 情况 显然 比 前 一 种 多 出 不 少 测试 量 ， 但 是 也 不 
要 轻易 相信 内 置 支持 。 两 种 情况 都 需要 测试 辅助 特性 ， 以 
确保 符合 要 求 。 


注意 ”如果 正 在 测试 产品 的 易 用 性 ， 一 定 要 专门 为 辅 
助 选项 建立 测试 用 例 。 该 领域 完全 测试 之 后 感觉 一 定 
不 错 。 


虽然 每 个 平台 提供 的 特性 略 有 不 同 ， 但 是 它们 都 致力 
于 使 软件 应 用 程序 更 容易 启用 辅助 选项 。Windows 提 供 了 
以 下 能 力 : 
。 粘 滞 键 ， 人 允许 Shift、Ctrl 或 者 Alt 键 持续 生效 ， 直 至 图 11-7 Windows 辅 助 选项 在 
按 下 其 他 键 。 这 个 控制 面板 中 设置 
。 筛选 键 ， 主 要 防止 简短 、 重 复 (无 意 地 ) 击 键 被 认可 。 
e 切换 键 ， 在 Caps Lock、Scroll Lock 或 者 NumLock 键 盘 模 式 开启 时 播放 声音 。 
e 上 声音 卫士 ， 每 当 系统 发 出 声音 时 ， 给 出 可 视 警 告 。 
® 声音 显示 ， 让 程序 显示 其 声音 或 者 讲话 的 标题 。 这 些 标题 需要 在 软件 中 编制 。 
® 高 对 比 度 ， 利 用 为 便于 视力 损伤 者 阅读 而 设计 的 颜色 和 字体 设置 屏幕 。 图 11-8 给 出 了 一 
个 这 样 的 例子 。 
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图 11-8 Windows 桌 面 可 以 切换 为 这 种 高 对 比 度 模 式 ， 以 方便 视力 损伤 者 观看 
。 忌 标 键 ， 克 许 用 键盘 来 代 堆 鼠标 操作 。 
。 阐 行 键 ， 设 置 一 个 通信 端口 读 取 来 自 外 部 非 键盘 设备 的 击 键 。 虽 然 操作 系统 会 将 这 些 设 
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备 视 为 标准 键盘 ， 但 是 把 它们 加 入 配置 测试 的 等 价 划 分 是 个 好 主意 。 
关于 流行 操作 系统 平台 内 置 辅助 选项 的 详情 ， 请 参见 以 下 网 址 : 
® http://www.microsoft.com/enable 
se http://www.apple.com/accessibility 
e http://www-3.ibm.com/able 
® http:/www.linux.org/docs/ldp/howto/Accessibility-HOWTO 


11.4 小 结 


记得 第 1 章 对 软件 缺陷 的 定义 吗 ? 软件 难以 理解 、 不 易 使 用 、 运 行 缓慢 或 者 一 一 从 测试 员 
的 角度 看 一 一 最 终 用 户 认为 不 好 。 

作为 检查 软件 产品 易 用 性 的 软件 测试 员 ， 可 能 是 第 一 个 用 各 种 方式 使 用 软件 的 人 ， 第 一 
个 看 到 软件 按照 既定 的 最 终 形式 汇总 的 人 。 如 果 软 件 对 于 测试 员 来 说 都 难以 使 用 或 者 没有 意 
义 ， 客 户 也 会 有 同样 的 问题 。 

总 之 ， 不 要 让 易 用 性 测试 的 模糊 性 和 主观 性 阻碍 测试 工作 。 易 用 性 测试 的 模糊 和 主观 是 
固然 的 ， 即 使 设计 用 户 界 面 的 专家 也 会 承认 有 的 地 方 是 这 样 的 。 如 果 测 试 某 个 新 产品 的 UL， 
那么 参考 本 章 定义 优秀 UI 的 列表 。 如 果 UI 不 符合 这 些 原则 ， 就 是 软件 缺陷 ， 而 如 果 是 易 用 性 
缺陷 ， 则 可 能 仅仅 是 法 律 上 的 原因 。 


11.5 小 测验 


以 下 是 帮助 读者 加 深 理 解 的 小 测验 。 答 案 参见 附录 A 一 一 但 是 不 要 偷 看 ! 
1. 判断 是 非 : 所 有 软件 都 有 一 个 用 户 界面 ， 因 此 必须 测试 易 用 性 。 

2. 用 户 界面 设计 是 一 门 科 学 还 是 一 门 艺术 ? 

3. 既然 用 户 界面 没有 明确 的 对 与 错 ， 怎 样 测试 呢 ? 

4. 列举 熟悉 的 产品 中 设计 低劣 或 者 不 一 致 的 UI 例 子 。 

5. 哪 4 种 残疾 会 影响 软件 的 易 用 性 ? 

6. 如 果 测 试 将 启用 辅助 选项 的 软件 ， 哪 些 领域 需要 特别 注意 ? 
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第 2 章 “ 软 件 开 发 的 过 程 ”讲述 了 软件 产品 由 大 量 工作 和 为 数 不 少 的 非 软 件 部 分 组 成 。 非 
软件 部 分 主要 是 文档 。 

过 去 ， 软 件 文档 最 多 是 拷贝 到 软件 安装 软盘 中 的 readme 文 件 ， 或 者 是 塞 进 包 装 箱 的 一 小 
张 纸 。 现 在 软件 文档 变 得 越 来 越 大 ， 有 时 甚至 需要 投入 比 制 作 软 件 本 身 还 要 多 的 时 间 和 精力 。 

软件 测试 员 通 常 不 限于 仅 测试 软件 ， 而 要 负责 组 成 整个 软件 产品 的 各 种 部 分 。 保 证 文档 
的 正确 性 也 在 职责 范围 之 内 。 

本 章 讲述 测试 软件 文档 的 技术 ， 以 及 如 何在 整个 软件 测试 工作 中 将 其 包含 在 内 。 本 章 重 
点 包括 : . 

。 软件 文档 的 不 同类 型 

。 文档 测试 为 什么 重要 

。 在 测试 文档 时 要 找 什么 


12.1 软件 文档 的 类 型 


如 果 软 件 文档 除了 简单 的 readme 文 件 再 没有 其 他 内 容 ， 测 试 倒 不 是 什么 大 事 。 要 保证 该 
文档 包含 应 有 的 所 有 材料 ， 全 部 内 容 从 技术 角度 讲 准 确 无 误 ， 还 要 进行 拼写 检查 和 磁盘 病毒 
扫描 (为 了 得 到 好 的 评价 )， 这 就 是 文档 测试 的 内 容 。 但 是 ， 文 档 仅 由 readme 文 件 组 成 的 日 子 
已 一 去 不 复 返 了 。 
现在 ， 软 件 文档 要 占 到 整个 产品 的 一 大 部 分 。 有 时 产品 看 上 去 好 像 除 了 文档 之 外 没什么 
东西 ， 只 有 一 点 点 软件 放 在 里 面 。 
以 下 是 可 以 归 类 于 文档 的 软件 组 成 部 分 。 显 然 ， 每 一 个 软件 不 一 定 非 要 有 所 有 这 些 部 分 
不 可 ， 但 是 可 能 会 有 : 
。 包 装 文字 和 图 形 。 包 括 盒子 、 纸 箱 和 包装 纸 。 文 档 可 能 包含 软件 的 屏幕 抓 图 、 功 能 列表 、 
系统 要 求 和 版 权 信息 。 
。 市 场 宣传 材料 、 广 告 以 及 其 他 插页 。 这 些 常 常 是 人 们 随手 丢弃 的 纸 ， 但 是 它们 是 用 于 促 
进 相关 软件 销售 的 重要 工具 ， 同 时 提供 补充 内 容 和 服务 联系 方式 等 。 对 于 严肃 对 待 它们 
的 客户 而 言 ， 这 些 信息 必须 正确 。 
。 授权 /注册 登记 表 。 这 是 客户 注册 软件 时 填写 并 寄 回 的 卡片 ， 也 可 以 作为 软件 的 一 部 分 ， 
显示 在 屏幕 上 让 用 户 阅读 、 认 可 ,并 完成 联机 注册 。 
。 EULA。 发 音 为 “you-la”， 代 表 最 终 用 户 许可 协议 。 这 是 要 客户 同意 条 款 的 法 律 文书 ，， 





124 第 三 部 分 运用 测试 投 术 


其 中 要 求 用 户 同意 不 得 复制 软件 ， 如 果 受 到 软件 缺陷 的 侵害 ， 也 不 得 向 生产 厂商 起 诉 。 
EULA 有 时 打印 在 装 有 电子 媒体 一 一 软盘 或 者 光盘 的 信封 上 。 它 也 可 能 在 软件 安装 过 程 
中 弹出 显示 在 屏幕 上 。 图 12-1 给 出 一 个 这 样 的 例子 。 





图 12-1 EULA 是 软件 文档 的 一 部 分 ， 解释 使 用 钦 件 的 法 律 条 款 


。 标签 和 不 干 胶 条 。 它 们 可 能 出 现在 媒体 、 包 装 盒 或 者 打印 材料 上 。 它 们 还 包括 序列 号 不 
干 胶 条 和 封 EULA 信 封 的 标签 。 图 12-2 给 出 了 一 个 磁盘 标签 的 例子 ， 其 中 所 有 信息 都 要 


检查 。 
软件 名 称 支持 语言 磁盘 信息 支持 平台 


呈 
i 
上 





软件 部 件 号 ”安装 指导 版 权 信息 软件 版 本 
图 12-2 磁盘 标签 上 有 不 少 文档 资料 要 软件 测试 员 检查 


。 安装 和 设置 指导 。 有 了 时 该 信息 直接 打印 在 磁盘 上 ， 也 可 以 印 在 CD 袋 上 或 插 到 超 薄 型 CD 
盒 中 ， 对 于 复杂 软件 ， 还 可 以 是 完整 的 手册 。 
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* 用户 手册 。 联 机 手册 的 实用 性 和 灵活 性 使 打印 的 手册 不 如 以 前 常用 了 。 现 在 大 多 数 软件 
附带 简明 的 “入 门 ” 类 小 手册 ， 而 详细 信息 变 成 了 联机 形式 。 联 机 手册 可 以 发 布 在 软件 
媒体 、 网 站 上 或 者 两 者 都 有 。 

“联机 帮助 。 联 机 帮助 一 般 可 以 和 用 户 手册 互 换 使 用 ， 有 时 甚至 取代 用 户 手册 。 联 机 帮助 有 
索引 和 搜索 功能 ， 用 户 查 找 所 需 信息 更 加 容易 。 许 多 联机 帮助 系统 允许 自然 语言 查询 ， 因 
此 ， 用 户 可 以 输入 Tell me how to copy text from one program to another 并 得 到 相应 的 响应 。 

。 指南 、 向 导 和 CBT (计算 机 基础 训练 )。 这 些 工具 将 编程 代码 和 书写 文档 融合 在 一 起 。 
它们 一 般 是 内 容 和 类 似 宏 的 高 级 编程 的 混合 体 ， 通 常 捆绑 在 联机 帮助 系统 中 。 用 户 可 以 
提出 问题 ， 然 后 由 软件 一 步 步 引导 完成 任务 。Microsoft 的 Office 助 手 ， 有 了 时 称 为 “剪纸 
朋友 ”( 见 图 12-3)， 是 此 类 系统 的 一 个 例子 。 
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图 12-3 Microsoft Office 助 手 是 一 个 精美 的 帮助 指南 系统 的 例子 
。 样 例 、 示 例 和 模板 。 例 如 某 些 文字 处 理 程序 带 有 表单 或 者 样 例 ， 用 户 只 需 填 写 内 容 即 可 
快速 创建 具有 专业 外 观 的 结果 。 编 译 器 可 能 用 一 小 段 代 码 来 演示 如 何 使 用 编程 语言 的 某 
些 方面 。 
。 错误 提示 信息 。 这 些 在 本 书 中 作为 常常 忽略 的 部 分 多 次 讨论 过 ， 它 们 最 终 属于 文档 一 类 。 


12.2 文档 测试 的 重要 性 


软件 用 户 把 这 些 独 立 的 非 软件 部 分 当做 整个 软件 的 一 部 分 。 他 们 不 管 这 些 东西 是 由 程序 
员 、 作 家 还 是 图 形 艺术 家 创建 的 ， 他 们 关心 的 是 整个 软件 包 的 质量 。 

注意 ”如果 安装 指导 有 误 ， 或 者 不 正确 的 错误 提示 信息 把 用 户 引 入 歧途 ， 他 们 就 会 认 

为 这 是 软件 缺陷 一 一 软件 测试 员 应 该 发 现 这 些 问题 。 

好 的 软件 文档 以 下 述 3 种 方式 确保 产品 的 整体 质量 : 


。 提高 易 用 性 。 还 记得 第 11 章 “ 易 用 性 测试 ”所 讲 的 与 产品 易 用 性 有 关 的 所 有 问题 吗 ? 易 
用 性 大 多 与 软件 文档 有 关 。 
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。 提高 可 靠 性 。 可 靠 性 是 指 软 件 稳 定 和 坚固 的 程度 。 软 件 是 否 按照 用 户 预期 的 方式 和 时 间 
工作 ? 如 果 用 户 阅 读 文档 ， 然 后 使 用 软件 ， 最 终 得 不 到 预期 的 结果 ， 这 就 是 可 靠 性 差 。 
本 章 下 面 将 讲 到 ， 软 件 和 文档 相互 测试 是 找 出 两 者 之 中 缺陷 的 好 方法 。 

。 降低 支持 费用 。 第 2 章 讲 过 客户 发 现 问题 比 早 在 产品 开发 期 发 现 并 修复 的 费用 要 高 出 10 
到 100 倍 。 其 中 的 原因 是 用 户 有 麻烦 或 者 遇 到 意外 情况 就 会 请 示 公 司 的 帮助 ， 这 是 很 贵 
的 。 好 的 文档 可 以 通过 恰当 的 解释 和 引导 用 户 解决 困难 来 预防 这 种 情况 。 


注意 ”作为 软件 测试 员 对 待 软件 文档 要 像 对 待 代码 一 样 给 予 同等 关注 和 投入 。 它 们 对 
用 户 是 一 样 的 。 如 果 没 有 要 求 测试 文档 ， 一 定 要 把 此 作为 问题 提出 来 并 在 整个 测试 计 
划 中 包括 这 部 分 。 1 


12.3 审查 文档 时 要 找 什么 


测试 文档 有 两 个 等 级 。 如 果 是 非 代码 ， 例 如 打印 的 用 户 手册 或 者 包装 盒 ， 测 试 就 是 与 第 4 
章 “检查 产品 说 明 书 ” 和 第 6 章 “检查 代码 ”所 述 类 似 的 静态 过 程 。 可 以 视 之 为 技术 编辑 或 技 
术 校 对 。 如 果 文 档 和 代码 紧密 结合 在 一 起 ， 例 如 超级 链接 的 联机 手册 或 者 提供 帮助 的 剪纸 朋 
友 ， 就 要 进行 动态 测试 ， 利 用 第 5 章 “ 带 上 了 眼 四 测试 软 件 ”和 第 7 章 “ 带 上 X 光 眼镜 测试 软件 


的 技术 进行 检查 。 这 种 情况 属于 真正 的 软件 测试 。 


注意 无 论文 档 是 不 是 代码 ， 像 用 户 那样 对 待 它 都 是 非常 有 获 的 测试 方法 。 仔 细 阅 读 ， 
按照 每 个 步骤 操作 ， 检 查 每 个 图 形 ， 尝 试 每 个 示例 。 如 果 有 简单 的 代码 ， 测 试 代码 是 
否 按照 描述 的 方式 运行 。 利 用 这 个 现实 的 简便 方法 ， 可 以 找 出 软件 和 文档 的 缺陷 。 
表 12-1 是 构建 文档 测试 用 例 基础 的 简化 检查 清单 。 

表 12-1 文档 测试 检查 清单 








检查 内 容 考虑 的 问题 
通用 部 分 
听众 文档 内 容 是 否 针对 了 恰当 的 听众 ， 不 低 也 不 高 ? 
术语 术语 适用 于 听众 吗 ? 用 法 一 致 吗 ? 如 果 使 用 首 字母 或 者 其 他 缩写 ， 是 否 是 标准 的 或 需要 定 
义 ?公司 的 首 字母 缩写 一 定 不 能 与 术语 完全 相同 。 所 有 术语 可 以 正确 索引 和 交叉 引用 吗 ? 
内 容 和 主题 主题 合适 吗 ? 有 丢失 的 主题 吗 ?不 应 该 包含 在 内 的 主题 如 何 处 理 , 例如 功能 从 产品 中 砍 挤 ， 
但 是 未 通知 手册 撰写 者 ? 材料 深度 是 否 合适 ? 
正确 性 
紧 扣 事实 所 有 信息 真实 并 且 技 术 正确 吗 ?查找 由 十 过 期 产品 说 明 书 和 销售 人 员 夺 大 事实 而 导致 的 错 
误 。 检查 目录 、 索 引 和 章节 引用 。 党 试 网 站 URL。 产 品 支持 电话 号 码 对 吗 ? 打 一 个 试 试 
逐步 执行 棍 慢 地 仔细 阅读 文字 。 完 全 根据 提示 操作 ， 不 要 做 任何 假设 。 耐 心 补充 址 调 的 步骤 ， 客 户 
不 会 知道 遗漏 的 是 什么 。 将 执行 结果 与 文档 描述 进行 比较 
检查 的 内 容 


图 表 和 屏幕 抓 图 检查 图 表 的 准确 度 和 精确 度 ， 其 图 像 米 源 和 图 像 本 身 对 吗 ? 确保 屏幕 抓 图 不 是 来 源 于 已 经 
改变 的 预 发 行 版 。 图 表 标 题 对 吗 ? 


样 例 和 示例 像 客 户 那样 载 人 和 使 用 每 一 个 样 例 。 如 果 是 代码 ， 就 复制 并 执行 它 。 样 例如 果 不 能 执行 太 
， 丢人 了 一 这 时 有 发 生 ! 
拼写 和 语法 在 理想 情况 下 ， 不 会 遇 到 此 类 软件 缺陷 。 拼 写 和 语法 检查 器 太 常见 了 ， 不 会 不 使 用 的 。 然 


而 ， 某 些 人 可 能 会 忘记 检查 ， 专 业 或 者 技术 术语 也 可 能 在 检查 中 跳 过 。 有 些 检查 还 要 手动 执 
行 ， 例 如 屏幕 抓 图 或 者 绘制 图 形 中 的 文字 。 不 要 想当然 
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最 后 ， 如 果 文 档 是 软件 驱动 的 ， 就 要 像 软 件 其 余部 分 一 样 进行 测试 。 检 查 索引 表 是 否 完 


整 ， 搜 索 结果 是 否 正确 。 超 级 链接 和 热点 是 否 跳 转 到 正确 的 页 面 。 利 用 等 价 划分 技术 确定 党 
试 哪些 测试 用 例 。 


12.4 文档 测试 的 实质 


在 结束 本 章 之 前 ， 有 必要 介绍 使 文档 开发 和 测试 区 别 于 软件 开发 的 原因 。 第 3 章 标题 为 

软件 测试 的 实质 "。 以 下 这 些 问题 可 以 称 做 文档 测试 的 实质 : 

。 文 档 常常 得 不 到 足够 的 重视 、 预 算 和 援助 。 一 般 心理 认为 软件 项 目 第 一 位 、 最 重要 ， 而 
其 他 不 那么 重要 。 实 质 上 ， 人 们 购买 的 是 软件 产品 ， 所 有 其 他 的 东西 至 少 都 和 位 与 字 节 
那样 重要 。 如 果 负 责 测试 软件 中 的 一 个 领域 ,一 定 要 为 伴随 代码 的 文档 测试 做 出 预算 ， 
像 对 待 软件 一 样 给 予 关注 ， 如 果 发 现 软件 缺陷 ， 就 报告 出 来 。 

。 编写 文档 的 人 可 能 对 软件 做 什么 不 其 了 解 ,正如 不 必 让 财会 专家 测试 电子 表格 程序 一 样 ， 
文档 作者 也 不 必 是 软件 功能 方面 的 专家 。 其 结果 就 是 ， 不 能 依靠 编写 内 容 的 人 员 理 顺 编 
写 劣质 的 产品 说 明 书 ,或 者 复杂 的 、 不 清晰 的 产品 功能 。 与 文档 作者 密切 合作 ， 以 保证 
文档 包含 所 需 信息 ， 并 随 着 产品 设计 更 新 。 最 重要 的 是 ， 指 出 发 现 的 代码 中 难以 使 用 或 
者 难以 理解 之 处 ， 让 他 们 在 文档 中 更 好 地 解释 。 

。 印刷 文档 制作 要 花 不 少时 间 ， 可 能 是 几 周 ， 甚 至 几 个 月 。 由 于 这 个 时 间 差 ， 软 件 产品 的 
文档 需要 在 软件 完成 之 前 完稿 -一 锁定 。 如 果 在 这 个 关键 时 期 改变 了 软件 的 功能 或 者 发 
现 了 软件 缺陷 ， 那 么 文档 将 无 法 反映 更 改 。 这 正 是 发 明 readme 文 件 的 原因 ， 它 是 将 最 后 
改动 通知 用 户 的 方式 。 该 问题 的 解决 方法 是 找 一 个 好 的 开发 模式 来 遵循 。 使 文档 保持 到 
最 后 一 刻 发 布 ， 并 且 以 电子 格式 随 软件 一 起 发 布 尽 可 能 多 的 文档 。 


12.5 小 结 


但 愿 本 章 为 读者 讲 清楚 了 软件 产品 比 程序 员 编 写 的 代码 多 出 多 少 内 容 。 由 编写 作者 、 插 
图 设计 人 员 和 索引 编者 等 以 各 种 形式 创建 的 软件 文档 在 开发 和 测试 工作 量 上 很 容易 超过 实际 
软件 。 

从 用 户 的 角度 看 ， 它 们 都 是 同样 的 产品 。 联 机 帮助 索引 
遗漏 一 个 重要 条 目 ， 安 装 指导 中 存在 错误 步骤 ， 或 者 出 现 显 
眼 的 拼写 错误 ， 都 属于 与 其 他 软件 失败 一 样 的 软件 缺陷 。 如 
果 正 确 地 测试 文档 ， 就 可 以 在 用 户 使 用 之 前 发 现 这 些 缺 陷 。 

下 一 章 讲述 应 用 测试 技术 到 一 个 几乎 每 天 在 新 闻 里 都 提 
到 的 领域 一 -软件 安全 。 这 是 一 个 从 早 一 些 的 代码 、 说 明 书 
审查 到 文档 的 测试 ， 测 试 员 执 行 的 每 个 任务 都 需要 特别 关 
注 的 领域 。 


12.6 小 测验 


以 下 是 帮助 读者 加 深 理 解 的 小 测验 。 答 案 参见 附录 
A 一 一 但 是 不 要 偷 看 ! 





图 12-4 在 Windows 画 图 程序 中 可 以 
1. 启动 Windows 画 图 程序 ( 见 图 12-4)， 找 出 应 该 测试 找到 什么 文档 例子 
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的 文档 例子 。 应 该 找 什 么 ? 

2. Windows 画 图 程序 帮助 索引 包含 200 多 个 条 目 ， 从 airbrush tool 到 zooming in or out。 是 
否 要 测试 每 一 个 条 目 看 能 够 到 达 正 确 的 帮助 主题 吗 ? 假如 有 10 000 个 索引 条 目 呢 ? 

3. 判断 是 非 : 测试 错误 提示 信息 属于 文档 测试 范围 。 

4. 好 的 文档 以 哪 3 种 方式 确保 产品 的 整体 质量 ? 





第 13 章 
软件 安全 性 测试 


计算 机 的 安全 问题 似乎 每 天 都 在 出 现 。 黑 客 、 病 毒 、 蠕 虫 、 间 谍 软 件 、 后 面 程序 、 木 马 、 
拒绝 服务 攻击 都 成 了 常见 的 术语 了 。 每 个 计算 机 用 户 都 遇 到 过 这 些 麻烦 的 事情 ， 在 受到 攻击 
后 ， 丢 失 了 重要 的 数据 ， 浪 费 宝贵 的 时 间 在 系统 的 恢复 上 。2005 年 1 月 14 日 ， 洛 杉 矶 时 报 
Joseph Menn 撰 文 ， 标 题 为 “没有 更 多 的 互联 网 给 他 们 ”， 披 露 许 多 人 都 受 够 了 ， 他 们 受到 挫 
折 ， 他 们 愤怒 ， 他 们 技 开 连 接 一 一 为 了 重新 获得 对 其 PC 的 控制 。 对 于 计算 机 产业 的 健康 发 展 
来 说 ， 这 不 是 一 个 好 现象 。 

因为 这 些 原因 ， 软 件 安 全 存在 于 每 一 个 程序 员 的 大 脑 中 (如 果 要 保住 这 份 工作 ， 至 少 应 
该 这 样 )， 并 且 涉 及 到 软件 开发 过 程 的 每 一 个 方面 。 软 件 测试 联系 到 了 另外 一 个 领域 ， 本 章 将 
介绍 这 些 重要 的 和 时 尚 的 话题 。 

本 章 重点 包括 : 

。 为 什么 有 人 想 攻击 计算 机 

。 哪些 类 型 的 攻击 是 常见 的 

。 如 何 与 开发 小 组 协作 确认 安全 问题 

。 为 什么 软件 安全 问题 与 软件 缺陷 是 同一 回 事情 

。 软件 测试 员 在 发 现 安 全 漏洞 方面 可 以 做 哪些 事情 

。 作为 新 的 领域 的 计算 机 取证 与 软件 安全 性 测试 有 何 关 系 


13.1 战争 游戏 一 电影 


计算 机 攻击 首次 进入 公众 视野 的 例子 之 一 是 1983 年 的 电影 战争 游戏 (WarGames)。 这 部 电 
影 中 ，Mathew Broderick 的 天 才 少 年 形象 一 一 David Lightman， 使 用 他 的 IMSAI 8080 家 用 计算 机 
和 一 个 300 波 特 的 音频 Modem 攻 入 了 美国 政府 的 北美 防空 联合 司令 部 (NORAD ) 计算 机 系统 。 
进入 后 ， 他 偶然 发 现 一 个 战争 游戏 叫做 “全 球 热 核 战争 "， 他 认为 仅仅 是 个 游戏 ， 并 和 电脑 系 
统 玩 起 了 该 游戏 ， 但 哪 知 这 是 一 个 真实 场景 的 模拟 仿真 ， 由 此 几乎 引起 了 第 三 次 世界 大 战 。 

David Lightman 是 如 何 获得 访问 权限 的 ? 很 简单 ， 他 在 自己 的 电脑 上 编 了 一 个 程序 ， 顺 序 
地 从 例如 555-0000 到 555-9999 进 行 拨号 ， 并 监听 对 方 计算 机 Modem 的 应 答 。 如 果 对 方 是 个 人 
在 应 答 ， 计 算 机 就 挂机 。 他 的 程序 是 自动 运行 的 ， 而 程序 运行 的 同时 他 在 学 校 里 创建 了 一 个 
“热线 ”号 码 清单 。 放 学 后 ，David 使 用 该 清单 上 的 有 限 号 码 逐 一 拨号 ， 看 哪 一 人 台 计 算 机 允许 
他 登录 。 

在 碰 到 北美 防空 联合 司令 部 的 计算 机 时 ，David 经 过 了 一 些 迁 回 曲 折 ， 发 现 了 其 中 一 个 政 
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府 程 序 员 的 名 字 以 及 该 程序 员 去 世 的 儿子 的 名 字 。David 在 登录 密码 输入 区 输入 了 该 程序 员 儿 
子 的 名 字 一 一 JOSHUA ， 获 得 了 对 该 军 方 “高 度 安 全 ”的 计算 机 系统 的 完全 访问 权限 。 

20 年 后 ， 技 术 已 经 变化 了 ， 但 是 技巧 和 过 程 还 是 一 样 的 。 软 件 和 计算 机 系统 目前 的 互 连 
更 广泛 ， 不 幸 的 是 ， 黑 客 更 多 了 。 也 许 有 人 会 说 电影 战争 游戏 比 电影 里 提 到 的 又 具有 了 新 的 
意义 ， 即 黑客 在 玩 游戏 ， 同 时 软件 产业 则 在 与 其 进行 一 场 战争 。 软 件 安 全 性 ， 更 确切 地 说 ， 
软件 缺少 安全 性 ， 已 经 成 为 了 一 个 巨大 的 问题 。 


驾驶 攻击 

随 着 在 城 域 网 中 普及 无 线 高 保 真 (WiFi) 网 络 ， 经 验 丰富 的 黑客 发 现 他 们 可 以 寻 
找 开 放 的 计算 机 网 络 ， 就 像 Mathew Broderick 在 战争 游戏 电影 里 的 天 才 少 年 形象 一 样 。 
他 们 仅仅 是 带 着 笔记 本 电脑 和 廉价 的 “sniffer” 开 着 车 在 城市 的 街道 上 多 转子 ， 坐 在 
企业 建筑 物 的 边 上 ， 路 过 咖啡 店 或 餐厅 ， 就 可 以 搜索 到 未 受 保护 的 无 线 网 络 。 这 种 技 
术 从 这 部 电影 中 得 到 了 一 个 名 字 ， 叫 做 “驾驶 攻击 ”。 


13.2 了 解 动机 


在 电影 战争 游戏 的 例子 中 ， 黑 客 的 动机 在 于 好 奇 并 且 希 望 能 使 用 一 台 比 自己 的 功能 强大 
得 多 的 安全 计算 机 。 虽 然 他 认为 他 的 行为 不 是 恶意 的 ， 因 为 他 并 没有 计划 破坏 系统 ， 但 他 的 
行为 导致 连锁 的 反应 并 带 来 了 严重 的 结果 。 作 为 软件 测试 员 很 重要 的 一 点 是 要 了 解 为 什么 有 
人 要 攻击 你 的 软件 。 
了 解 动机 能 帮助 软件 测试 员 考虑 到 测试 的 软件 中 有 哪些 安全 方面 的 漏洞 。 
安全 产品 是 指 产品 在 系统 的 所 有 者 或 管理 员 的 控制 下 ， 保 护 用 户 信息 的 保密 性 、 完 整 性 、 
可 获得 性 ， 以 及 处 理 资 源 的 完整 性 和 可 获得 性 。 
www.microsoft.com/technet/community/chats/trans/security/sec0612.mspx 
安全 漏洞 是 指使 产品 不 可 行 的 缺陷 一 即使 是 正确 地 使 用 产品 时 一 一 来 防止 攻击 者 窃取 系 
统 的 用 户 权 限 、 调 节操 作 、 破 坏 数据 ， 或 建立 未 授权 的 信任 。 
http://www.microsoft.com/technet/ .archive/community/columns/security/essays/vulnrbl.mspx 
黑客 : 
精通 计算 机 编程 和 使 用 的 人 ， 电 脑 玩 家 。 
使 用 编程 技能 来 获得 对 计算 机 网 络 或 文件 的 非法 访问 的 人 。 
- www.dictionary.com 
黑客 想 获 得 系统 访问 权限 的 5 个 动机 是 : 
。 挑 战 /成 名 。 最 简单 和 良性 的 黑客 攻击 是 ， 纯 粹 为 了 挑战 性 的 任务 或 在 黑客 同行 中 形成 
成 功 者 的 威望 而 攻 进 一 个 系统 。 在 这 些 行为 中 并 没有 更 险恶 的 意图 ， 驾 驶 攻击 就 是 这 类 
行为 。 虽 然 看 起 来 这 没有 多 大 的 问题 ， 但 是 想 想 如 果 一 个 开锁 匠 为 练习 开锁 技能 每 天 晚 
上 在 邻居 家 随意 开锁 ， 然 后 向 他 的 朋友 歇 嘲 哪 些 家 的 锁 很 容易 开 的 话 ， 没 有 人 会 感到 安 
全 一 一 准确 地 说 确实 是 这 样 。 
。 好奇 。 下 一 个 动机 是 好 奇 。 在 这 种 心理 下 ， 黑 客 不 会 停止 在 仅仅 获得 访问 权限 上 。 一 旦 
进入 后 , 他 会 进一步 去 看 里 面 有 什么 。 好 奇 就 是 动机 ,黑客 会 在 系统 中 找 有 兴趣 的 东西 。 
一 个 软件 系统 可 能 有 安全 漏洞 使 黑客 获得 访问 权限 (出 于 挑战 /成 名 的 动机 )， 但 是 其 安 


一 人 3 
全 度 仍然 足以 阻止 黑客 对 任何 有 价值 数据 的 进一步 访问 。 

。 使 用 /借用 。 这 个 动机 下 黑客 的 行为 就 不 仅仅 是 攻击 和 进入 了 。 实 际 上 黑客 为 自己 的 目 
的 会 尝试 使 用 系统 。 前 面谈 到 的 电影 战争 游戏 就 是 使 用 /借用 的 例子 。 一 个 现实 的 例子 
就 是 当家 用 PC 被 E-mail 病毒 攻击 后 ,会 使 用 存储 在 PC 机 上 的 E-mail 地 址 来 发 送 更 多 的 
病毒 邮件 。 黑 客 使 用 许多 计算 机 的 分 布 式 处 理 能 力 可 以 比 仅仅 使 用 自己 的 计算 机 能 完成 
更 多 的 事情 。 另 外 ， 黑 客 使 用 这 些 被 黑 的 计算 机 进行 攻击 能 更 有 效 地 掩饰 其 痕迹 。 

。 恶意 破坏 。 一 想到 恶意 破坏 ， 请 记 住 三 个 D: 五 化 (Defacing)， 破坏 (Destruction) 和 
拒绝 服务 (Denial of Service)。 丑 化 是 改变 网 站 的 外 观 来 展示 黑客 的 意见 和 想法 一 一 见 图 
13-1。 破 坏 以 删除 或 修改 存储 在 系统 上 的 数据 为 表现 形式 。 一 个 例子 是 某 个 大 学 生 改 变 
他 的 分 数 或 删除 期 末 考 试 成 绩 。 拒 绝 服务 是 阻止 或 妨碍 被 黑 的 系统 执行 正常 的 操作 。 一 
个 例子 是 使 用 大 量 的 传输 流 攻击 一 个 电子 商务 站 点 ， 使 其 不 能 处 理 正 常 的 传输 ， 阻 止 客 
户 下 单 购买 东西 。 更 糟 的 是 ， 黑 客 可 能 使 系统 崩溃， 其 结果 是 数据 的 丢失 和 数 天 的 停机 。 

。 偷窃 。 最 严重 的 黑客 攻击 行为 可 能 就 是 偷窃 了 。 其 动机 是 找 出 可 以 使 用 和 出 卖 的 有 价值 
的 东西 。 信 用 卡号 、 个 人 信息 、 商 品 和 服务 ， 甚 至 登录 ID 号 和 E-mail 地 址 ， 所 有 这 些 对 
于 黑客 来 说 都 有 用 。2003 年 ,一 个 24 岁 的 计算 机 黑客 获得 访问 权限 并 偷盗 了 9 千 2 百 万 
个 AOL 登 录 ID 号 。 这 些 ID 号 后 来 向 信息 兜售 者 卖 了 几 次 ， 总 售 价 达 10 万 美元 ! 对 于 几 
天 的 工作 就 搞定 来 说 还 不 错 。 
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图 13-1 丑化 一 个 站 点 是 黑客 进行 的 破坏 类 型 之 一 


感到 害怕 了 吧 ? 可 能 。 每 天 都 有 无 数 的 黑客 尝试 攻击 那些 理论 上 安全 的 系统 。 而 且 ， 很 
多 都 成 功 了 。 现 在 知道 了 为 什么 黑客 想 要 攻击 系统 ， 下 面 我 们 将 继续 讨论 软件 安全 性 测试 ， 
归纳 出 软件 测试 员 在 协助 开发 小 组 创建 安全 的 软件 产品 上 可 以 做 的 工作 。 


13.3 威胁 模式 分 析 


在 Michael Howard 和 David LeBlanc 所 著 的 一 本 优秀 书籍 《Writing Secure Code》( 微 软 出 
版 社 ，2003 年 ， 第 2 版 ) 中 ， 讨 论 到 一 个 过 程 ， 叫 做 威胁 模式 分 析 〈threat modeling )， 用 于 评 
估 软 件 系统 的 安全 问题 。 把 威胁 模式 分 析 看 做 第 6 章 “ 检 查 代 码 ” 中 讨论 的 正规 审查 的 一 个 变 
形 方式 。 在 这 个 过 程 中 ， 目 的 是 由 评审 小 组 查找 产品 特性 设置 方面 可 能 会 引起 安全 漏洞 的 地 
方 。 根 据 这 些 信息 ， 小 组 可 以 选择 对 产品 做 修改 ， 花 更 多 的 努力 设计 特定 的 功能 ， 或 者 集中 
精力 测试 潜在 的 故障 点 。 最 终 ， 这 种 理解 会 使 产品 更 加 安全 。 
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注意 除非 产品 开发 小 组 中 的 每 个 人 一 一 是 指 每 一 个 人 : 项 目 经 理 、 程 序 员 、 测 试 员 、 
技术 文档 写作 页 、 市 场 人 员 、 产 品 支持 一 一 都 理解 和 认同 可 能 存在 的 安全 威胁 ， 否 则 
小 组 不 可 能 开发 出 安全 的 产品 来 。 


执行 威胁 模式 分 析 并 非 软件 测试 员 的 责任 。 这 个 责任 应 该 落 到 项 目 经 理 的 任务 清单 上 ， 
并 且 项 目 小 组 每 个 成 员 都 要 参与 。 基 于 此 ， 我 们 仅 讨论 过 程 的 共性 。 需 要 了 解 威胁 模式 分 析 
的 更 详细 信息 ， 可 以 访问 msdn.microsoft.com/library ， 搜 索 “threat modeling”。 

图 13-2 显 示 了 一 个 虚构 的 复杂 电子 商务 系统 的 物理 拓扑 图 。 注 意 ， 该 系统 具有 多 种 用 户 
访问 方式 。 用 户 可 以 通过 PDA 访 问 系统 ， 通 过 无 线 连接 访问 系统 ， 通 过 标准 PC 访问 系统 。 系 
统 连接 到 Internet 并 且 具 有 来 自 不 同 厂家 的 服务 器 软件 。 系 统 在 一 个 通过 Internet 连 接 可 以 直接 
访问 的 数据 库 里 保存 支付 信息 ， 这 个 系统 的 初始 设计 要 求 进 行 全 面 的 威胁 模型 分 析 来 确保 投 
入 运行 后 的 安全 。 





图 13-2 一 个 复杂 的 系统 要 求 进行 全 面 的 威胁 模型 分 析 来 确认 安全 漏洞 


图 13-2 中 所 示 的 软件 和 系统 的 复杂 程度 跟 大 家 正在 开发 的 软件 和 系统 比 起 来 是 否 简单 或 
复杂 在 这 里 其 实 并 没有 任何 的 关系 。 威 胁 模型 分 析 过 程 的 步骤 都 是 一 样 的 。 以 下 的 步 又 摘自 
msdn.microsoft.com/library 。 

。 构建 威胁 模型 分 析 小 组 。 我 们 已 经 谈 到 了 该 问题 。 除 了 标准 的 小 组 成 员外 ， 小 组 中 加 入 

一 个 具有 深厚 的 软件 安全 背景 的 人 至 关 重要 。 对 一 个 规模 小 的 小 组 来 说 ,方式 上 可 能 是 

在 设计 阶段 让 外 部 的 咨询 人 员 介入 。 对 于 大 公司 ， 这 类 人 员 往 往来 自 于 从 一 个 项 目 转 到 

另外 一 个 项 目 、 为 项 目 提供 专业 咨询 的 一 群 专家 。 对 于 小 组 来 说 ， 重 要 的 一 点 是 了 解 他 

们 的 最 初 目标 不 是 解决 安全 问题 ， 而 是 确定 安全 问题 。 在 后 期 可 以 举行 一 些 由 小 规模 的 

特定 团队 参加 的 会 议 〈 例 如 ， 由 几 个 程序 员 和 测试 员 参 加 的 会 议 ) ， 以 隔离 安全 威胁 ， 

设计 解决 方案 。 
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。 确认 价值 。 考 虑 系统 所 有 的 东西 对 于 一 个 入 侵 者 说 价值 有 多 大 。 系 统 是 否 有 客户 的 个 人 
信息 ?是 否 有 信用 卡号 码 ? 系统 计算 能 力 如 何 ? 是 否 有 人 想 偷偷 利用 你 的 系统 来 向 你 的 
客户 发 送 商业 信息 ?如 果 你 的 公司 网 站 被 黑 掉 ， 不 管 是 丑化 还 是 替换 ， 是 否 会 带 来 业务 
的 损失 ? 

。 创建 一 个 体系 结构 总 体 图 。 在 这 个 步骤 中 要 确认 计划 用 在 软件 中 的 以 及 如 何 实现 互 连 的 
技术 。 小 的 威胁 模型 分 析 小 组 会 创建 一 个 体系 结构 图 表示 出 主要 的 技术 模块 和 它们 之 间 
如 何 通 讯 。 创 建 体系 结构 图 一 个 重要 的 方面 是 ， 确 认 在 不 同 技术 和 其 证 明之 闻 的 信任 边 
界 (trust boundaries) 以 及 为 了 访问 数据 必须 发 生 的 授权 。 | 

。 分解 应 用 程序 。 这 是 一 个 格式 化 的 过 程 ， 用 来 确认 数据 所 在 位 置 以 及 如 何 通过 系统 。 理 
想 情 况 下 ， 该 步 又 应 基于 设计 的 数据 流 图 和 状态 转换 图 。 如 果 这 些 图 不 存在 ， 需 要 创建 
这 些 图 。 想 想 作 为 容器 的 数据 以 及 哪些 使 容器 安全 。 进 入 容器 来 查看 数据 的 手段 是 什 
么 ? 数据 加 密 了 吗 ? 口令 保护 了 吗 ? 

。 确认 威胁 。 一 旦 完全 理解 了 所 有 的 部 分 〈 价 值 、 体 系 结 构 、 数 据 ) ， 威 胁 模型 分 析 小 组 
可 以 转向 确认 威胁 。 每 一 个 部 分 都 应 该 考虑 为 威胁 目标 ， 并 且 应 假设 他 们 会 受到 攻击 。 
想 想 是 否 每 一 部 分 都 可 能 被 不 正确 地 看 待 。 每 一 部 分 是 否 能 被 修改 ? 黑客 是 否 能 阻止 授 
权 用 户 使 用 系统 ? 是 否 有 人 能 获得 系统 的 访问 权限 并 控制 系统 ? 

。 记录 威胁 。 每 个 威胁 都 必须 用 文档 记录 ， 并 且 应 进行 跟踪 以 确保 其 被 解决 。 文 档 是 一 种 

”简单 方式 ， 用 于 描述 威胁 (用 一 句 或 更 少 )、 目 标 、 攻 击 可 能 采用 的 方式 、 系 统 用 于 防 
御 攻击 有 哪些 反 制 手段 。 在 第 19 章 “报告 发 现 的 问题 *， 将 讲述 如 何 跟踪 发 现 的 软件 缺 
陷 。 使 用 相同 的 系统 可 以 帮助 小 组 管理 发 现 的 安全 威胁 。 

。 威胁 等 级 评定 。 最 后 ， 理 解 并 非 所 有 的 威胁 生来 就 平等 这 一 点 很 重要 。 软 件数 据 可 能 用 
国防 部 128 位 加 密 算法 保护 ， 用 超级 计算 机 需要 20 多 年 才能 破解 。 即 便 使 用 如 此 安全 等 
级 保护 的 数据 会 受到 安全 威胁 吗 ? 当然 可 能 。 这 种 威胁 等 级 比 一 个 连接 到 管理 员 的 计算 
机 的 自动 应 答 电话 modem 更 高 吗 ? 可 能 不 会 。 威 胁 模型 分 析 小 组 需要 确定 每 个 威胁 的 等 
级 。 一 个 简单 的 办 法 是 ， 使 用 在 msdn.microsoft.com/library 上 “提高 Web 应 用 安全 ” 那 
一 章 中 定义 的 恐怖 公式 (DREAD Formula)。DREAD 表 示 : 

。 潜在 的 损害 一 一 如果 这 部 分 被 黑 了 ， 损 害 有 多 大 ? (物理 上 、 人 金钱 上 、 整 体 性 上 等 ) 

。 可 反复 性 一 -黑客 不 间断 利用 漏洞 的 容易 度 如 何 ? 每 次 尝试 都 能 成 功 ?还 是 100 次 尝试 成 
功 一 次 ? 或 1 百 万 次 尝试 成 功 一 次 ? 

。 可 利用 性 一 获得 对 系统 或 数据 访问 的 技术 难度 有 多 大 ?是 可 以 通过 互联 网 用 电子 邮件 
发 送 ， 或 用 几 行 简单 的 basic 写 的 宏 代码 ， 还 是 需要 具有 很 专业 编程 技能 的 人 员 来 实现 ? 

。 受 影响 的 用 户 一 一 如 果 黑 客 成 功 人 侵 ， 有 多 少 用 户 会 受到 影响 ? 是 单个 用 户 ， 还 是 像 丛 
次 AOL 屏幕 上 的 用 户 名 ， 有 9 千 2 百 万 用 户 ? 

。 可 发 现 性 一 一 黑客 发 现 漏洞 的 可 能 性 有 多 大 ? 一 个 保密 的 “后 门 ” 登录 口令 可 能 不 会 被 
发 现 ， 除 非 心怀 怨恨 的 雇员 被 解雇 后 把 这 些 信息 贴 到 Web 上 。 

简单 地 用 1 表示 低 ，2 表 示 中 等 ，3 表 示 高 ， 并 将 此 应 用 到 以 上 描述 的 五 类 评估 分 析 的 每 一 

类 ， 然 后 加 起 来 ， 获 得 5 到 15 之 间 的 一 个 值 ， 该 值 就 可 以 以 数值 的 方式 来 评估 每 一 个 威胁 的 安 
全 等 级 。 据 此 ， 小 组 可 以 首先 计划 对 最 严重 的 问题 进行 设计 和 测试 ， 然后 在 时 间 人 允许 时 继续 
对 其 他 低级 的 威胁 进行 设计 和 测试 。 第 19 章 将 讲述 评估 软件 缺陷 的 更 多 内 容 以 及 确认 软件 缺 
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陷 被 修改 的 一 些 技术 
13.4 软件 安全 是 一 项 功能 吗 ? 软件 漏洞 是 一 个 缺陷 吗 


到 目前 为 止 ， 我 们 都 希望 得 出 这 样 的 结论 ， 即 软件 安全 可 以 简单 地 看 做 是 软件 产品 或 系 
统 的 另外 一 项 功能 。 大 多 数 人 可 能 都 不 愿意 其 个 人 财务 数据 被 黑客 公开 。 他 们 可 能 认为 他 们 
的 电子 表格 软件 能 保护 个 人 私有 信息 是 一 项 必须 的 功能 。 该 功能 是 可 以 使 软件 成 为 质量 优良 
的 产品 的 一 个 功能 (记得 第 3 章 “ 软 件 测试 的 实质 ”中 我 们 讨论 的 质量 和 可 靠 性 吗 ? ) ， 如 果 
软件 “失败 ”并 让 黑客 看 到 了 个 人 的 银行 资金 情况 和 信用 卡 信息 ， 大 多 数 用 户 会 简单 和 绝对 
地 将 其 视 为 软件 缺陷 。 


提示 这 里 ， 再 重 述 一 次 第 1 章 “ 软 件 测 试 的 背景 ”关于 缺陷 的 定义 : 

1) 软件 未 实现 产品 说 明 节 要 求 的 功能 。 

2) 软件 出 现 了 产品 说 明 书 指明 不 应 该 出 现 的 错误 。 

3) 软件 实现 了 产品 说 明 书 未 提 到 的 功能 。 

4) 软件 未 实现 产品 说 明 书 虽 未 明确 提 及 但 应 该 实现 的 目标 。 

5) 软件 难以 理解 、 不 易 使 用 、 运 行 速度 慢 ， 或 者 软件 测试 员 认 为 最 终 用 户 会 认为 
不 好 。 

然后 ， 再 重新 看 看 我 们 在 第 5 章 “ 带 上 眼下 测试 软件 ”中 讨论 的 通过 性 测试 和 失 
效 性 测试 : | 

在 进行 通过 性 测试 时 ， 实 际 上 是 确认 软件 至 少 能 做 什么 ， 而 不 会 考验 其 能 力 。 软 
件 测试 员 并 不 需要 想 尽 办 法 让 软件 崩溃 ， 仅 仅 运 用 最 简单 、 最 直观 的 测试 用 例 即 可 。 

确信 软件 在 普通 情况 下 正确 运行 之 后 ， 就 可 以 采取 各 种 手段 搞 垮 软件 来 找 出 软件 缺 
陷 了 。 


软件 测试 员 可 能 会 负责 测试 软件 的 整个 安全 性 ， 或 者 可 能 仅仅 负责 测试 被 分 配 测试 的 功 
能 是 安全 的 。 不 管 怎样 ， 软 件 测试 员 需 要 考虑 到 软件 缺陷 的 以 上 5 个 定义 。 软 件 测试 员 不 需要 
拿 到 一 份 清楚 明白 地 定义 软件 安全 性 是 如 何 实现 的 产品 说 明 书 。 软 件 测试 员 也 不 能 假设 威胁 
模型 分 析 是 完全 和 准确 的 。 基 于 这 些 原因 ， 软 件 测试 员 需 要 带 上 “失效 性 测试 ”的 帽子 ， 像 
黑客 一 样 攻击 被 测试 的 软件 一 一 假定 每 一 项 功能 都 有 一 个 安全 漏洞 ， 并 且 作 为 测试 员 ， 这 时 
你 的 工作 是 发 现 并 利用 它 。 


技巧 ”测试 安全 缺陷 是 失效 性 测试 行为 ， 也 常常 覆盖 产品 中 没有 被 完全 理解 和 说 明 的 
部 分 。 


13.5 了 解 缓冲 区 溢出 


要 在 一 章 甚至 一 本 书 中 ， 充 分 全 面 地 讲述 攻击 软件 产品 所 有 可 能 的 方法 是 不 可 能 的 。 总 
地 看 来 ， 家 庭 无 线 网 络 共享 的 电子 表格 与 多 玩家 的 网 络 视频 游戏 或 一 台 国防 部 的 分 布 式 计算 
机 系统 是 相当 不 同 的 。 操 作 系 统 和 其 他 技术 各 有 特点 ， 因 而 其 安全 漏洞 也 各 不 相同 。 但 是 有 
一 个 共同 性 的 问题 ， 即 在 任何 软件 产品 中 都 有 一 个 安全 问题 一 - 缓 促 区 溢出 。 

在 第 6 章 的 通用 代码 审核 清单 中 ， 我 们 了 解 到 数据 引用 错误 一 一 即使 用 没有 被 正确 申明 和 
初始 化 的 变量 、 常 数 、 数 组 、 字 符 申 或 记录 引起 的 缺陷 缓冲 区 溢出 就 是 这 种 缺陷 。 这 是 由 
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于 编程 质量 低劣 ， 加 上 许多 编程 语言 (如 C、C++) 都 缺少 安全 字符 处 理 函 数 ， 这 样 就 会 带 来 
这 些 问题 。 考 虑 清单 13-1 给 出 的 简单 C 代 码 。 


清单 13-1 简单 组 冲 区 溢出 的 例子 


1: void myBufferCopy(char * pSourceStr) { 
2: char pDestStr[100] ; 

3 int_nLocalVvart = 123; 

4: int niocalVar2 = 456; 

5: strcpy(pDestStr, pSourceStr); 

6 

7 

8 


: } 
: void myValidate() 
: { 
9: /1* 
10: Assume this function's code validates a user password 
11: and grants access t0 millions of private customer records 
12:/* 
13: } 





看 出 问题 没有 ? 输入 字符 串 pSourceStr 的 长 度 是 不 知道 的 。 目 的 字符 串 pDestStr 的 长 度 是 
100 字 节 。 如 果 源 字符 串 的 长 度 大 于 100 会 发 生 什么 事情 ? 就 像 代码 中 写 的 一 样 ， 源 字符 串 会 
copy 到 目的 字符 囊 中 ， 不 管 长 度 有 多 少 。 如 果 源 字符 串 超过 100 个 字 节 的 长 度 ， 就 会 填 满 目的 
字符 电 ， 并 且 会 继续 覆盖 本 地 变量 的 值 。 

然而 粳 习 的 是 ， 如 果 源 字符 串 足够 长 ， 就 可 能 会 覆盖 掉 函 数 myBufferCopy 的 返回 地 址 并 
进而 覆盖 函数 myValidate0) 执 行 代码 的 内 容 。 在 这 个 例子 中 ， 一 个 有 点 能 力 的 黑客 会 输入 一 个 
超级 长 的 日 令 ， 用 手写 的 汇编 代码 替代 数字 和 文字 的 ASCH 字 符 串 ， 并 覆盖 原本 执行 口令 验证 
的 函数 myValidate 一 一 这 就 可 能 获得 访问 系统 的 权限 。 突 然 之 间 ， 第 6 章 讲 到 的 代码 审核 具有 
了 全 新 的 含义 。 


注意 这 是 一 个 极其 简单 的 丝 冲 区 溢出 的 例子 ， 用 于 演示 潜在 的 问题 。 虽 然 哪 些 数 据 和 
代码 被 覆盖 到 ， 甚 至 被 全 部 覆盖 执行 ， 仅 依赖 于 编译 器 和 CPU。 但 是 ， 黑 客 是 知道 的 。 


由 于 字符 串 的 不 正确 处 理 引 起 的 缓冲 区 溢出 是 目前 为 止 最 为 常见 的 一 种 代码 编写 错误 ， 
其 结果 是 导致 安全 漏洞 , 不 过 第 6 章 中 描述 的 任何 错误 等 级 都 是 潜在 的 问题 。 作 为 软件 测试 员 ， 
其 工作 是 尽 可 能 早 地 发 现 这 些 类 型 的 缺陷 。 虽 然 代 码 评审 可 能 会 在 开发 周期 的 早期 发 现 这 些 
缺陷 ， 但 是 还 有 更 好 的 方法 一 一 即 在 第 一 时 间 和 地 点 就 防止 它们 发 生 。 


13.6 使 用 安全 的 字符 串 函 数 


在 2002 年 ，Microsoft 开 始 主动 确认 通用 C 和 C++ 函 数 中 容易 引起 缓冲 区 溢出 的 编码 错误 。 
这 些 函 数 自身 并 不 差 ， 但 是 要 安全 地 使 用 它们 ， 需 要 在 程序 员 这 边 进行 更 为 深入 的 错误 检测 。 
如 果 忽 略 了 这 种 错误 检测 (经 常 发 生 此 类 事情 )， 代 码 就 会 有 安全 漏洞 。 衡量 一 下 这 种 疏忽 带 
来 的 风险 ， 最 好 还 是 开发 或 改进 一 组 新 的 函数 ， 即 用 强壮 、 完 全 测试 过 的 、 文 档 齐全 的 新 函 
数 集 替代 这 些 容易 引起 问题 的 函数 集 。 

这 些 新 的 函数 ， 叫 做 安全 字符 事 函 数 (Safe String Functions )， 在 Microsoft 的 Windows 
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XP SP1 版 本 、 最 新 的 版 本 Windows DDK 和 平台 SDK 中 已 经 具有 。 常 用 的 操作 系统 、 编 译 器 ， 
处 理 器 也 具有 其 他 很 多 实现 了 安全 字符 串 的 商用 的 或 免费 的 库 。 
以 下 列 出 的 几 条 解释 了 使 用 新 函数 的 好 处 (摘自 msdn.microsoft.com/library 的 文章 Using 
Safe String Functions): 
。 每 个 函数 接收 是 标 缓冲 的 长 度 作 为 输入 。 这 样 函数 就 能 确保 在 写 人 时 不 会 超过 缓冲 区 的 
长 度 。 
。 函数 空 字符 中 止 所 有 的 输出 字符 申 ， 即 使 操作 截断 了 预计 的 结果 。 在 返回 字符 串 上 进行 
操作 的 代码 就 能 安全 地 假定 其 会 最 终 遇 到 空 字符 一 一 表示 字符 串 的 结束 。 在 空 字符 前 的 
数据 是 有 效 的 ， 并 且 字 符 不 会 无 穷尽 地 延长 。 
e 所 有 函数 返回 一 个 NTSTATUS 值 ， 该 值 只 有 一 个 可 能 成 功 的 代码 。 调 用 函数 能 轻易 地 确 
定 函 数 的 执行 是 否 成 功 。 
。 每 个 都 提供 版 本 。 一 个 支持 单字 节 的 ASCII 字 符 ， 另 一 个 支持 双 字 节 的 Unicode 字 符 。 
记 住 在 第 10 章 “外 图 语言 测试 ”中 讲 到 的 ， 要 支持 多 种 外 国语 言 的 字符 或 象形 文字 ， 字 
符 必 须 占 用 超过 一 个 字 节 的 空间 。 
表 13-1 显 示 了 不 安全 国 数 以 及 其 替代 函数 的 清单 。 项 目 小 组 在 进行 代码 评审 或 者 白 盒 测 
试 时 ， 注意 关注 不 安全 的 函数 以 及 其 使 用 。 显 然 ， 小 组 程序 员 应 该 使 用 安全 版 本 的 函数 。 但 
是 如 果 没 有 使 用 ， 代 码 评审 就 要 更 加 严格 地 执行 ， 确 保 任 何 可 能 的 安全 漏洞 都 被 发 现 并 解决 。. 


表 13-1 有 旧 的 “不 安全 ”C 字 符 上 捉 函数 和 其 新 的 “安全 函数 ” 








旧 的 “不 安全 ”少数 新 的 “安全 ”函数 目 的 
Strcat RtLStringCbCat Concatenate two strings. 
wcscat Rt1iStringCbCatEx - 
Rt1lLStringCchCat 
- RtlStringCchCatEx 
strncat RtlStringCbCatN Concatenate two byte-counted - 
wesncat RtlStringCbCatNEx strings, while limiting the size of the 
RtlStringCcchCatN appended string. 
ntlStringCchCatNEx 
strcpy RtlStringCbCopy Copy a string into a buffer. 
wcscpy Rt1iStringCbCopyEx 
RtiStringCchCopy 
RtliSstringCcchCopyEx - 
strncpy RtlStringCbCopyN Copy a byte-counted string into a 
wcsncpy RtlStringCbCopyNEx buffer, while limiting the size of the 
RtiStringCchCopyN copied string. 
RtlStringCchCopyNEX 
strlen RtlStringcbLength Determine the length of a supplied 
weslen RtlStringCchLength string. 
Sprinttf ”RtlStringCbprintf Create a formatted text string that is 
swprintf Rt1iStringCbPrintfEx based on a format string and a set of 
_snprintf Rt1StringCchPrintf additional function arguments. 
_Snwprintf RtlStringCchPrintfEx 
vsprintf Rt1lStringCbVPrintf Create a formatted text string that is 
vswprintf RtlStringCbVvPrintfEx based on a format string and one 
_vsnprintf RtlStringCchvPrintf additional function argument. 


_VSnwPrintf Rt1lStringCchVPrintfEx 


Ce 
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JPEG 病 毒 

比 一 幅 图 片 更 安全 的 是 什么 9 总 的 看 来 ， 应 是 数据 ， 而 不 是 可 执行 代码 。 但 这 个 
错误 的 假设 在 2004 年 9 月 被 推 吉 ， 这 时 一 个 病毒 被 发 现 谋 入 到 几 幅 黄色 图 片 中 并 上 传 
到 一 个 互联 网 新 闻 组 上 面 。 在 查看 图 片 时 ， 病 毒 下 载 到 用 户 的 PC 机 上 面 。 没 有 人 认为 
这 是 可 能 的 ， 但 确实 发 生 了 。 导 致 这 个 问题 的 原因 在 于 对 角 冲 区 溢出 的 利用 。 

JPEG 文 件 格式 ， 除 了 存储 图 片 数 据 外 ， 还 看 储 误 入 的 注释 和 评论 。 许 多 编辑 图 
片 的 软件 包 使 用 这 种 格式 来 注释 图 片 一 如 “我 们 家 在 沙滩 ”、“ 出 售 住宅 ”等 。 这 些 
注释 域 以 十 六 进 制 值 0xXFFFE 开 头 ， 接 下 来 是 两 个 字 节 的 值 。 该 值 说 明 注 释 的 长 度 ， 
加 上 两 个 字 节 (注释 域 长 度 )。 使 用 这 种 格式 ， 不 超过 65533 个 字 节 长 度 的 注释 部 是 合 
法 的 。 如 果 没 有 注释 ， 区 域 的 值 就 应 该 是 2。 问 题 在 于 如 果 此 值 为 非法 的 1 或 0， 就 会 
发 生丝 冲 区 溢出 。 

解释 JPEG 数 据 格式 并 将 其 转变 为 可 见 的 图 片 的 程序 在 读 注 释 前 ， 将 文件 长 度 减 
去 2， 变 为 正常 长 度 。 解 释 程 序 的 代码 可 以 处 理 正 整数 ， 而 把 负 整 数 2 当做 正 的 4GB 。 
这 样 下 面 4GB 长 的 “注释 ”内 容 就 被 读 入 ， 从 而 不 正确 地 徐 盖 了 有 效 的 数据 和 程序 。 
如 果 “ 注 释 ” 数 据 被 精心 地 构造 、 编 码 、 编 译 ， 就 可 能 用 来 获得 系统 的 访问 权限 。 
Microsoft 曾 经 发 布 过 一 个 关键 更 新 ， 针 对 系统 所 有 加 载 和 查看 JPEG 图 片 的 组 件 。 


13.7 计算 机 取证 


到 目前 为 止 ， 我 们 从 积极 的 出 发 点 讨论 了 软件 的 安全 问题 。 我 们 看 待 软件 安全 的 观点 是 : 
黑客 可 能 利用 软件 ， 发 现 安全 漏洞 ， 利 用 漏洞 来 达到 访问 数据 或 控制 系统 的 目的 。 另 外 一 个 
观点 是 : 要 达到 此 目前 并 不 需要 这 人 么 困难 。 有 时 ， 对 于 那些 知道 数据 保存 位 置 的 人 来 说 ， 要 
查看 数据 可 以 说 是 信和 手 牛 来 。 

这 方面 的 第 一 个 例子 就 是 在 浏览 网 页 时 我 们 都 熟悉 的 一 些 特性 。 图 13-3 表 示 通 过 一 个 IE 
浏览 器 下 拉 地 址 框 显示 出 最 近 访问 过 的 站 点 的 历史 清单 的 例子 。 对 大 多 数 用 户 来 说 这 不 是 个 
问题 ; 实际 上 还 很 有 用 ， 可 以 不 需要 重新 输入 URL 全 名 就 可 以 很 快 地 回 到 访问 过 的 站 点 。 但 
是 ， 如 果 这 个 屏幕 是 来 自 一 个 排队 公共 使 用 的 终端 上 的 话 ， 会 怎样 呢 ? 排 在 你 后 面 的 人 就 可 
能 知道 你 看 的 内 容 ， 仅 仅 是 单 击 一 下 鼎 标 。 


注意 ”用户 变 更 时 未 被 删除 的 保留 数据 叫做 潜在 数据 。 潜 在 数据 是 潜在 的 安全 漏洞 ， 
需要 在 小 组 采用 的 任何 威胁 模型 分 析 中 进行 讨论 。 也 许 这 些 数据 不 会 被 看 成 是 产品 的 
问题 ， 也 许 会 被 看 成 是 一 个 大 问题 。 


另外 一 个 潜在 数据 的 例子 是 Google 工 具 条 的 自动 填充 功能 ， 如 图 13-4 所 示 。 该 功能 允许 
存储 姓名 、 地 址 、 电 话 号 码 、e-mail 地 址 等 信息 ， 可 以 在 显示 出 一 个 空 的 表单 时 〈 例 如 电子 商 
. 务 的 订货 网 页 )， 仅 通过 一 个 单 击 就 可 以 用 此 信息 把 所 有 的 部 分 都 填 上 。 然 而 ， 在 测试 产品 的 
安全 性 时 ， 测 试 员 需 要 从 用 户 的 角度 考虑 ， 以 确定 该 项 功能 是 否 需要 对 数据 进行 隐藏 或 删除 ， 
使 其 他 人 看 不 到 这 些 数据 。 

潜在 数据 的 更 复杂 的 例子 是 由 计算 机 安全 专家 用 来 发 现 可 以 用 做 犯罪 调查 的 证 据 。 当 数 
据 写 到 磁盘 上 时 ， 是 以 决 的 方式 号 的 。 这 些 块 叫做 扁 区 ， 其 大 小 取决 于 操作 系统 的 类 型 。 
MSDOS/Windows 使 用 512 字 节 的 扇 区 。 根 据 所 使 用 的 文件 系统 ， 扇 区 组 合成 找 。Windows 的 
FAT 文 件 系统 使 用 2048 字 节 大 小 的 玺 ， 每 一 个 卵 由 4 个 512 字 节 大 小 的 扇 区 构成 。 
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New! Google Mini Tum browsers into buyers on your website 


Scartising Pingrams - Busness Salutions - Abou Google 
Make Google Your Homanage! 






3 


图 13-3 访问 过 的 站 点 清单 可 能 是 个 安全 漏洞 


图 13-4 _ Google 工具 条 的 自动 填充 功能 存储 的 信息 用 于 快速 填写 web 表 单 。 是 个 安全 问题 吗 


图 13-5 显 示 了 当 一 个 文本 文件 readme.doc 被 写 入 到 磁盘 的 两 个 化 上 时 的 结构 情况 。 文 件 
大 小 为 2200 个 字 节 ， 由 从 第 1 扇 区 到 第 5 遍 区 中 点 的 白色 区 域 表 示 出 来 。 所 以 ， 如 果 文 件 是 
2200 个 字 节 大 ， 从 第 5 扇 区 到 第 8 遍 区 的 灰色 区 域 的 内 容 是 什么 呢 ? 这 些 信息 就 是 潜在 数据 
(latent data ) 。 

如 果 文 件 有 2200 个 字 节 大 ， 会 占用 4.3 个 512 字 节 的 扇 区 (2200/512=4.3)。 在 第 5 扇 区 ， 后 半 
部 分 空间 的 数据 叫做 RAM 损 耗 (RAM slack)， 因 为 这 些 区 域 的 数据 信息 是 在 文件 被 创建 时 曾 驻 
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留 在 内 存 中 的 数据 信息 。 可 能 什么 都 没有 ， 也 可 能 是 管理 员 的 口令 或 信用 卡 账号 。 虽 然 没有 办 
法 知道 内 容 ， 但 是 知道 的 是 除了 文件 中 的 数据 外 ， 计 算 机 的 内 存 中 的 数据 被 写 到 了 磁盘 上 。 

余下 的 灰色 区 域 ， 从 第 6 遍 区 到 第 8 遍 区 ， 叫 做 磁盘 损耗 (disk slack)。 磁 盘 损 耗 存在 的 原 
因 是 因为 文件 系统 以 一 个 2048 个 字 节 的 簇 来 写 磁盘 ， 而 我 们 的 文件 只 能 够 填充 其 中 两 个 徐 的 
部 分 区 域 。 在 磁盘 损耗 位 置 保存 的 数据 是 该 文件 被 写 入 前 的 数据 。 可 能 是 其 他 文件 的 残余 数 
据 ， 或 者 是 一 个 以 前 的 、 更 长 的 readme.doc 文 件 。 这 些 潜 在 的 数据 可 能 是 个 开头 ， 或 者 包含 
被 特意 删除 的 文件 ， 或 者 是 很 保密 的 信息 。 


第 1 局 区 第 2 局 区 第 3 局 区 第 4 局 区 





图 13-5 readme.doc 文 件 中 的 数据 并 非 是 唯一 写 到 磁盘 上 的 数据 


注意 ”虽然 这 个 例子 使 用 磁盘 驱动 器 来 说 明 潜 在 数据 的 概念 ， 但 是 RAM 损 耗 和 磁盘 损 
耗 带 来 的 安全 问题 同样 出 现在 可 读 写 CD、DVD、 内 存 卡 ， 以 及 事实 上 任何 种 类 的 存 
储 介质 上 。 


13.8 小 结 


从 本 章 中 得 到 的 一 个 体会 应 该 是 : 没有 计算 机 系统 是 安全 的 。 我 们 应 该 假定 这 些 计 算 机 
系统 会 一 直 处 于 受 攻击 的 状态 ， 攻 击 者 或 者 想 控制 计算 机 ， 或 者 想 访问 到 上 面 的 数据 。 为 帮 
助 设计 一 个 安全 的 系统 ， 在 产品 设计 的 最 开始 就 必须 注意 安全 的 问题 。 测 试 员 仅 能 测试 软件 
的 安全 性 ， 软 件 安全 必须 先 计 划 、 评 审 、 设 计 ， 然 后 才 是 测试 。 使 用 具有 反复 性 的 软件 开发 
过 程 ， 例 如 第 2 章 “ 软 件 开发 的 过 程 ” 详 细 分 析 的 螺旋 模式 ， 可 以 确保 在 整个 开发 过 程 中 安全 
的 问题 被 再 次 提 到 。 

跟踪 最 新 的 计算 机 安全 问题 的 最 有 参考 价值 的 网 站 是 www.securityfocus.com。 如 果 在 负 
责 软件 安全 的 测试 ， 或 者 其 至 没有 ， 定 期 浏览 该 网 站 是 个 好 办 法 ， 看 看 黑客 们 在 干什么 ， 以 
及 他 们 是 如 何 破坏 大 大 小 小 的 系统 的 。 

下 一 章 将 讲述 另外 一 个 时 艇 的 话题 ， 会 用 到 目前 所 学 的 所 有 技术 ， 包 括 软件 安全 性 测 
试 一 一 即 网 站 测试 。 


13.9 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 
1. 在 电影 《WarGames》 中 攻破 北美 防空 联合 司令 部 (NORAD) 的 计算 机 系统 背后 的 动 
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机 是 什么 ? 

2. 判断 是 非 : 威胁 模型 分 析 是 一 个 由 软件 测试 员 执行 的 正式 过 程 ， 用 以 确定 在 哪些 地 方 
最 适合 进行 针对 安全 漏洞 的 测试 。 、 

3. JPEG 病 毒 是 由 一 个 缓冲 区 溢出 缺陷 产生 的 。 回 到 第 6 章 的 通用 代码 审核 检查 表 ， 哪 两 
类 检查 最 能 描述 出 这 个 溢出 发 生 的 原因 ? 


4. 当 尝 试 在 标准 的 Windows 应 用 程序 中 打开 一 个 文件 时 出 现 最 近 使 用 过 的 文件 清单 ， 可 
能 是 安全 漏洞 中 的 哪 一 类 数据 的 例子 ? 


5. 哪 两 类 额外 和 潜在 不 安全 的 数据 在 文件 保存 到 磁盘 上 时 被 无 意识 地 写 人 磁盘 ? 





第 14 章 
网 站 测试 


前 面 章节 所 述 的 测试 技术 已 经 相当 通用 了 。 这 些 技术 通过 使 用 诸如 Windows 写 字 板 、 计 
算 器 和 画图 等 小 程序 来 介绍 ， 说 明了 测试 的 基础 知识 和 使 用 方法 。 第 三 部 分 “运用 测试 技术 ” 
的 最 后 一 章 转向 测试 一 种 特殊 类 型 的 软件 因特网 Web 页 面 。 这 是 非常 时 尚 的 话题 ， 是 大 家 
所 熟悉 的 ， 同 时 也 是 运用 目前 所 学 技术 一 个 很 好 的 实战 例子 。 

从 本 章 中 会 看 到 ， 网 站 测试 训 括 许多 领域 ， 包 括 配 置 测试 、 兼 容 性 测试 、 易 用 性 测试 、 
文档 测试 、 安 全 性 测试 ， 并 且 假 如 网 站 是 面向 全 球 范围 的 浏览 者 ， 还 包括 本 地 化 测试 。 当 然 ， 
黑 盒 、 白 盒 、 静 态 和 动态 测试 都 是 要 用 上 的 。 | . 

本 章 虽然 不 能 算 做 测试 因特网 网 站 的 完全 指南 ， 但 是 将 会 给 出 一 个 测试 实际 项 目的 直观 
而 实用 的 例子 ， 并 为 第 一 个 工作 就 是 在 网 站 上 查找 缺陷 的 软件 测试 员 开 一 个 好 头 。 

本 章 重点 包括 : 

。 网 页 的 哪些 基本 部 分 需要 测试 

。 在 网 页 测试 中 要 运用 哪些 基本 的 白 盒 测试 和 黑 盒 测试 技术 

。 如何 运用 配置 测试 和 兼容 性 测试 

。 为 什么 易 用 性 测试 是 网 页 的 主要 问题 

。 如 何 使 用 工具 协助 网 站 测试 


14.1 网 页 基础 


用 最 简单 的 术语 说 ， 因 特 网 网 页 就 是 由 文字 、 图 片 、 声 音 、 视 频 和 超级 链接 组 成 的 文 
档 -- 一 非常 类 似 于 20 世 纪 90 年 代 中 期 流行 的 光盘 多 媒体 标题 。 在 这 些 程序 中 ， 网 站 用 户 可 以 
通过 单 击 具有 超级 链接 的 文字 和 图 片 在 网 页 间 浏览 ， 搜 索 单词 或 者 短语 ， 查 看 找到 的 信息 。 

然而 ， 因 特 网 引入 了 两 项 针对 多 媒体 文档 概念 的 技术 变革 : 

。 网 页 不 像 只 保存 在 光盘 上 的 数据 ， 它 并 不 受 单独 一 台 计 算 机 的 限制 。 用 户 可 以 在 任何 网 

站 上 通过 整个 因特网 链接 和 搜索 信息 。 

。 网 页 创作 者 不 限于 那些 使 用 昂贵 和 专业 技术 化 工具 的 程序 员 。 一 般 的 人 可 以 像 在 文字 处 

理 程 序 中 写 封 信 那 样 ， 创 建 一 个 简单 的 网 页 。 

但 是 ， 就 像 给 某 人 一 支 画笔 并 不 能 使 他 成 为 艺术 家 一 样 ， 给 一 个 人 以 创建 网 页 的 能 力 并 
不 能 使 他 成 为 多 媒体 发 布 的 专家 。 随 着 新 网 页 特性 技术 的 不 断 增加 ， 要 想 成 为 软件 测试 员 ， 
机 会 相当 多 。 

图 14-1 给 出 了 一 个 流行 的 新 闻 网 站 ,演示 了 多 种 可 能 的 网 页 特性 。 部 分 特性 包括 : 
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。 不 同 大 小 、 字 体 和 颜色 (不 过 本 书 中 看 不 到 颜色 ) 的 文字 。 
。 图 片 和 照片 。 

。 超 级 链接 文字 和 图 片 。 

。 不 断 滚动 的 广告 。 

。 下 拉 式 文本 选择 框 。 

。 用 户 输 入 数据 的 区 域 。 


Excitement mounts for final ‘Star Wars’ 
Movie a Forza, er Force to be reckoned with worlidwide 





图 14-1 具有 众多 可 测试 特性 的 典型 网 页 


大 量 的 功能 也 不 那么 明显 ， 使 网 站 更 加 复杂 的 特性 如 下 : 

。 自 定义 的 布局 ， 允 许 用 户 更 改 信息 出 现在 屏幕 上 的 位 置 。 

。 自 定义 的 内 容 ， 人 允许 用 户 选择 想 看 的 新 闻 和 信息 。 

。 动态 下 拉 式 选择 框 。 

。 动态 变化 的 文字 。 

。 取决 于 屏幕 分 辨 率 的 动态 布局 和 可 选 信 息 。 

。 与 不 同 网 络 浏览 器 、 浏 览 器 版 本 ， 以 及 硬件 和 软件 平台 的 兼容 性 。 

。 大 量 加 强 网 页 易 用 性 的 隐藏 格式 、 标 记 和 贬 入 信息 。 

这 还 没 说 安全 电子 商务 网 站 一 一 也 许 是 因特网 上 更 复杂 、 特 性 更 丰富 的 一 种 网 页 。 如 果 具 
有 测试 员 的 思想 (希望 读者 读 到 此 书 这 里 已 具备 )， 看 到 此 类 网 页 就 会 兴奋 得 急 着 跳 进 来 开始 . 
查找 缺陷 。 本 章 以 下 内 容 将 提供 从 何 处 入 手 的 线索 。 


14.2 黑 盒 测试 


还 记得 前 面 第 4 章 到 第 7 章 中 ， 关 于 测试 基础 方面 的 内 容 吗 ? 在 这 些 极其 重要 的 章节 中 ， 
讲述 了 黑 盒 测试 、 白 盒 测 试 、 静 态 测试 和 动态 测试 一 一 都 是 软件 测试 员 的 基本 技能 。 网 页 是 
印证 所 学 内 容 的 极 佳 方式 。 不 必 出 去 购买 各 种 程序 一 一 只 需 跳 转 到 某 个 喜爱 的 或 者 全 新 的 网 


， 页， 开始 测试 即 可 。 
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最 容易 的 起 步 是 把 网 页 或 者 整个 网 站 当做 一 个 黑 盒 子 。 不 知道 它 是 如 何 工作 的 ， 手 里 没 
有 说 明 书 ， 面 对 的 仅仅 是 要 测试 的 网 站 。 应 该 查找 什么 呢 ? 

图 14-2 给 出 了 一 幅 相 当 直观 而 且 典 型 的 Apple 公 司 网 站 www.apple.com 的 屏幕 截图 。 它 具 
有 所 有 基本 元 素 一 一 文字 、 图 片 、 指 向 站 内 其 他 网 页 的 超级 链接 和 指向 其 他 站 点 的 超级 链接 。 
某 些 网 页 具有 用 户 可 以 输入 信息 的 表单 ， 还 有 一 些 网 页 播放 视频 。 这 个 网 站 令 人 感 兴趣 的 与 
众 不 同 之 处 是 它 为 27 个 不 同 的 地 区 进行 了 本 地 化 ， 从 亚洲 到 美国 。 

如 果 可 以 访问 因特网 ， 现 在 就 花 一 些 时 间 浏 览 一 下 Apple 公 司 的 网 站 ， 考 虑 如 何 对 其 进行 
测试 ， 测 试 什么 ? 等 价 划分 是 什么 ? 不 测试 什么 ? 


own Summer MOVies， 
yoann DN ena Omni psi 、 





图 14-2 在 如 此 直观 的 网 站 中 要 测试 什么 

浏览 了 一 下 网 站 之 后 ， 决 定做 什么 ? 但 愿 你 能 意识 到 这 是 一 项 繁重 的 工作 。 如 果 看 到 站 
点 地 图 (www.apple.com/find/sitemap.html) ,就 会 发 现 它 链接 了 100 多 个 子 站 点 ， 每 一 个 子 站 
点 都 有 几 个 网 页 。 

注意 ”在 测试 网 站 时 ， 首 先 应 该 建立 状态 表 ( 见 第 5 章 “ 带 上 了 眼 盏 测试 软件 ”)， 把 每 

个 网 页 当做 不 同 的 状态 ， 超 级 链接 当做 状态 之 间 的 连接 线 。 完 整 的 状态 图 有 利于 对 束 

个 任务 更 好 地 进行 审视 。 

谢 天 谢 地 ， 大 多 数 网 页 相当 简单 ， 仅 由 文字 、 图 片 、 链 接 以 及 少量 表单 组 成 。 测 试 这 些 
并 不 难 。 以 下 各 节 将 给 出 查找 网 页 缺陷 的 一 些 思路 。 


14.2.1 文本 


网 页 文本 应 该 当做 文档 对 待 ， 并 依据 第 12 章 、 “测试 文档 所 述 的 方法 进行 测试 。 检查 核 
实 读者 的 水 平 、 术 语 、 内 容 以 及 题目 素材 、 准 确 度 一 特别 是 可 能 过 期 的 信息 ， 经 常 不 断 地 
检查 拼写 。 

注意 不 要 依赖 拼写 检查 工具 来 做 ， 尤 其 是 用 在 网 页 文本 内 容 的 检查 上 。 拼写 检查 工 

具 可 能 只 检查 常规 文本 ， 但 不 检查 包含 在 图 片 、 滚 动 块 、 表 单 等 中 的 文字 。 用 拼写 检 
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查 工具 执行 完 所 谓 的 完全 拼写 检查 之 后 ， 检 查 者 可 能 认为 检查 很 彻底 ， 但 事实 中 网 页 
中 仍然 会 有 拼写 错误 。 


如 果 有 电子 邮件 地 址 、 电 话 号 码 或 者 邮政 编码 等 联系 信息 ， 要 检查 是 否 正确 。 保 证 版 权 
声明 正确 、 日 期 无 误 。 测 试 每 个 网 页 是 否 都 有 正确 的 标题 ， 标 题 文本 出 现在 浏览 器 的 标题 栏 
(图 14-2 的 左上 角 ) 并 且 当 把 网 页 添加 到 收藏 夹 或 者 书签 时 默认 显示 的 内 容 就 是 标题 文本 。 

常常 被 忽视 的 一 种 文本 是 文字 标签 (ALT text) ， 用 于 替代 文字 ( ALTernate text)。 图 14-3 
给 出 了 一 个 文字 标签 的 例子 。 当 用 户 把 鼠标 光标 移动 到 网 页 中 的 图 片上 时 ， 可 以 看 到 弹出 对 
图 片 语 义 信 息 的 说 明 。 不 显示 图 片 的 浏览 器 使 用 文字 标签 代替 图 片 显 示 。 此 外 ， 借 助 文字 标 
签 ， 双 目 失 明 的 用 户 可 以 浏览 图 片 丰富 的 网 站 一 有声 阅读 程序 通过 计算 机 的 扬声器 朗读 文 
字 标 签 。 

注意 ”并非 所 有 的 浏览 器 都 支持 显示 文字 标签 。 有 的 浏览 器 只 在 工具 栏 项 端 显示 标题 

文本 ， 或 者 什么 都 不 显示 。 由 于 这 样 限 制 了 双 目 失明 的 用 户 浏览 网 站 ， 所 以 应 把 此 看 

成 一 个 严重 的 访问 缺陷 。 

通过 大 幅 缩放 浏览 器 窗口 来 检查 文字 布局 问题 。 这 样 会 发 现 由 于 设计 人 员 或 者 程序 员 假 


定 网 页 高 度 和 宽度 不 变 而 引起 的 缺陷 ， 还 会 发 现 写 死 的 格式 ， 例 如 换行 在 某 些 布局 中 显得 正 
常 而 在 其 他 布局 中 则 不 正常 。 


| ra 


| 
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图 14-3 文字 标签 为 网 页 上 的 图 片 提供 特征 描述 


14.2.2 超级 链接 


链接 可 以 与 文字 或 者 图 片 捡 在 一 起 。 每 一 个 链接 都 要 检查 ， 确 保 它 跳 转 到 正确 的 目的 地 ， 
并 在 正确 的 窗口 中 打开 。 如 果 没 有 网 站 的 说 明 书 ， 就 需要 测试 跳 转 是 否 正确 。 

超级 链接 一 定 要 明显 ， 文 字 链 接 一 般 有 下 划 线 ， 而 鼠标 指针 经 过 任何 类 型 的 超级 链接 一 文 
字 或 图 片 时 应 该 发 生变 化 〈 常 常 变 成 手 形 指针 )。 

如 果 链 接 打 开 电 子 邮件 信息 ， 就 填写 内 容 并 发 送 ， 要 确保 能 够 得 到 回应 。 

查找 匆 页 ， 它 是 网 站 的 一 部 分 ， 但 是 不 能 通过 超级 链接 访问 ， 因 为 网 页 作者 忘记 把 它 持 
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接 上 。 这 样 就 需要 向 网 站 设计 人 员 索 取 网 页 清单 ， 与 自制 的 状态 图 进行 比较 。 
14.2.3 图 片 


图 片 中 可 能 出 现 的 许多 软件 缺陷 在 易 用 性 测试 时 被 掩盖 下 来 ， 但 是 利用 简单 的 黑 盒 测试 广 
法 可 以 检查 一 些 明显 的 地 方 。 例 如 ， 所 有 图 片 都 被 正确 载 人 和 显示 了 吗 ? 如 果 图 片 丢 失 或 者 名 
称 不 对 ， 就 无 法 载 入 ， 网 页 将 在 放置 图 片 的 位 置 显示 错误 
提示 ( 见 图 14-4) 。 

如 果 网 页 中 文本 和 图 片 交织 在 一 起 ， 要 保证 文字 正 
确 地 环绕 在 图 片 周围 。 改 变 浏览 器 窗口 的 大 小 ， 看 环绕 ”图 14-4 如 果 网 页 无 法 载 和 图片， 就 在 
是 否 有 问题 。 其 显示 位 置 显 示 错 误 提 示 信 息 

载 入 网 页 时 的 性 能 如 何 ” 网 页 是 否 有 太 多 图 片 ， 导 致 传输 和 显示 的 数据 量 巨大 ， 从 而 使 
网 站 速度 过 慢 ? 用 缓慢 的 电话 拨号 上 网 替代 本 地 高 速 局 域 网 时 结果 会 怎样 ? 


14.2.4 表单 


表单 是 指 网 页 中 用 于 输入 和 选择 信息 的 文本 框 、 列 表 框 和 其 他 域 。 图 14-5 给 出 了 Apple 公 
司 网 站 中 的 一 个 简单 例子 。 这 是 Mac 潜 在 开发 人 员 的 注册 表单 ， 含 有 用 于 输入 姓名 和 电子 邮 
件 地 址 的 域 。 该 网 页 中 有 一 个 明显 的 软件 缺陷 一 一 但 愿 读 者 看 到 这 里 时 已 经 被 修复 了 。 





| 本 ADC 
Appie Developer Comection 


‘Welcome to the Appie Developer Connection. 


Please enter the foliowing information: 





图 14-5 保证 网 站 的 表单 域 位 置 正确 。 请 注 吉 汗 Apble 司 的 
开发 人 员 注 册 表 单 中 中 间 名 字 域 的 位 置 不 对 


还 记得 第 5 章 吗 ? 域 的 大 小 正确 吗 ? 是 否 接 
受 正 确 数据 ， 拒 绝 错误 数据 ? 在 最 后 按 Enter 键 时 正确 确认 了 吗 ? 可 选 域 是 否 真 正 可 选 并 且 要 
求 的 那个 是 否 真 正 做 到 ?如果 输入 9999999999999999999999999999 会 怎样 ? 


14.2.5 对 象 和 其 他 各 种 简单 的 功能 
网 站 可 能 包含 诸如 单 击 计数 器 、 滚 动 文本 选择 框 、 变 换 的 广告 和 站 内 搜索 (不 要 与 搜索 
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整个 互联 网 的 搜索 引擎 混为一谈 ) 等 特性 。 在 计划 网 站 测试 时 ， 要 仔细 验 明 每 个 网 页 上 的 所 
有 特性 。 把 每 一 个 特性 按照 常规 程序 的 功能 对 待 ， 并 利用 所 学 的 标准 测试 技术 分 别 进行 测试 。 
它 有 自己 的 状态 吗 ? 处 理 数据 吗 ? 有 范围 或 者 边界 吗 ? 运 用 什么 测试 用 例 ， 怎 样 进行 等 价 划 
分 ? 网 页 与 其 他 任何 软件 是 一 样 的 。 


14.3 灰 合 测试 


我 们 已 经 熟悉 了 黑 盒 和 白 盒 测试 ， 而 另外 一 种 测试 友人 金 测试 〈gray-box testing) 是 两 者 的 
结合 一 一 因此 而 得 名 。 灰 盒 测 试 把 黑 盒 测试 和 白 盒 测试 的 界限 打 乱 了 。 仍 然 把 软件 当做 黑 盒 
来 测试 ， 但 是 通过 简单 查看 (不 是 像 白 盒 测 试 那样 完整 地 查看 ) 软件 内 部 工作 机 制作 为 补充 。 

网 页 特点 使 其 非常 适合 进行 灰 盒 副 试 。 大 多 数 网 页 由 HTML ( 超 文 本 标记 语言 ) 创建 。 
清单 14-1 给 出 了 用 于 创建 如 图 14-6 所 示 的 网 站 的 一 些 HTML 代 码 行 。 

清单 14-1 HTML 示例 显示 在 网 页 后 台 的 一 些 内 容 


<html> 

<head> 

<meta http-equiv="Content -Type" content="text/html; charset=iso-8859.1"> 

<meta name="GENERATOR" content="Microsoft FrontPage 4.0"> 

<title>Superior Packing Systems</title> 

<meta name="Microsoft Theme" content="sandston 111, default" > 

<meta name="Microsoft Border" content="t, default"> 

</head> 

<body background=" _themes/sandston/stonbk. jp9" bgcolor="#FFFFCC" 
text="#333333" link="#993300" vlink="#666633" alink="#CC6633"> 
<1- -msnavigation. -><table border="0" cellpadding="®" cellspacing="@" 
width="100%"><tr><td><1. -mstheme- -><font face="Arial, Helvetica"> 

<h1 align="center"><!--mstheme--><font color="#660000"> 
<img src="_derived/index.htm cmp_sandston118_ bnr.gif" width="600" 
height="60" border="0" alt="Superior Packing Systems"><br> 

&nbsp; <br> 

<a href="./"><img src="_derived/home cmp_sandston110 gbtn. gif" width="95" 
height="20" border="0" alt="Home” align="middle"></a> <a href="services.htm"> 
<img src=" _ derived/services.htm cmp_sandston110 gbtn,9if" width="95" 
height="20" border="0" alt="Services" align="middle"></a> 
<a href="contact .htm"><img src=" derived/contact.htm cmp_sandston110 gbtn.gif" 
width="95" height="28" border="®" alt="Contact Us" align="middle"> 
</a><!--mstheme. -></font></h1> 


注意 如果 不 束 悉 建立 网 站 的 技术 ， 就 应 该 阅读 一 点 相关 主题 的 资料 。 诸 如 《Sams 

Teach Yourself to Create Web Pages in 24 Hours》 之 类 的 入 门 书 是 学 习 建 网 基本 技术 的 

好 途径 ， 同 时 还 有 助 于 找到 一 些 运 用 友人 金 测 试 技术 的 方法 。 

HTML 和 网 页 可 以 视 为 克 灰 盒 子 进行 测试 ， 因 为 HTML 不 是 编译 过 且 测 试 员 又 不 知道 内 容 的 
编程 语 在 早期 的 文字 处 理 程 序 中 ， 不 能 仅仅 选中 文本 就 能 使 其 加 粗 或 
者 倾 针 ， ， 忆 须要 在 程序 中 嵌入 标记 ， 有 时 称 为 域 标签 。 例 如 ， 要 创建 加 粗 的 语句 : 

This is bold text. 

就 要 在 文字 处 理 程序 中 输入 以 下 命令 : 
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[begin bold]This is bold text.[end bold] 
HTML 的 工作 原理 与 此 一 样 。 用 HTML 建 立 该 语句 要 输入 : <b> This is bold text.</b> 





图 14-6 该 网 页 部 分 是 由 清单 14-1 中 的 HTML 所 创建 的 


HTML 发 展 到 现在 ， 有 了 成 百 上 千 种 标签 和 选项 ， 从 清单 14-1 的 HTML 语句 可 以 得 到 证 
明 。 但 是 ， 归 根 结 底 ，HIML 只 是 随意 的 具有 旧 文 字 处 理 程序 风格 的 标记 语言 。HTML 与 程序 
的 区 别 在 与 HTML 不 能 够 执行 或 者 运行 ， 只 能 确定 文字 和 图 片 在 屏幕 上 显示 的 方式 。 


技巧 要 想 查 看 网 页 的 HTML 源 文件 ， 只 需 右 键 单 击 网 页 的 空白 区 域 (不 要 在 图 片上 ) 
并 从 菜单 中 选择 View Source (对 IE 浏 览 器 ) 或 View Page Source. (对 Firefox 浏览 器 ) 
命令 即 可 。 | 


由 于 HTML 很 容易 被 测试 员 查 看 ， 因 此 可 以 利用 这 点 来 对 测试 进行 补充 。 对 于 黑 盒 测试 
员 ， 这 是 开始 转向 白 盒 测试 的 大 好 机 会 。 

首先 从 学 习 建 立 自己 的 简单 网 页 开始 。 了 解 常用 的 基本 HTML 标 记 。 查 看 多 种 网 页 上 的 
HTML 语 句 ， 查 看 应 用 了 哪些 技术 ， 以 及 这 些 技术 在 网 页 上 面 是 如 何 把 各 种 元 素 构建 起 来 的 。 
一 旦 熟悉 了 HTML ， 就 能 够 以 全 新 的 方式 查看 测试 的 网 页 ， 并 提高 测试 效率 。 


14.4 和 白 盒 测试 


在 图 14-1 中 ， 看 到 的 是 以 文字 和 图 片 形式 构成 的 诸多 静态 内 容 的 网 页 示例 。 这 些 静态 内 
容 一 般 由 HTML 直 接 创 建 。 同 时 ， 网 页 还 包括 可 自 定义 和 动态 改变 的 内 容 。 请 记 住 ，HTML 不 
是 编程 语言 一 一 它 只 是 文字 和 图 片 的 标记 系统 。 创 建 这 些 附加 的 动态 特性 需要 用 可 以 执行 和 
支持 判断 分 支 结构 的 程序 代码 来 补充 。 

大 家 可 能 听 说 过 可 以 创建 此 类 特性 的 流行 Web 编 程 语言 : DHTML，Java，JavaScript， 
ActiveX, VBScript, Perl, CGI, ASP 和 XML。 如 第 6 章 “ 检 查 代码 ”和 第 7 章 “ 带 上 X 光 眼镜 测 
试 软件 ”所 述 ， 运 用 和 白 盒 测试 不 需要 测试 员 一 定 成 为 这 些 语 言 的 专家 ， 而 只 要 熟悉 到 能 够 阅 
读 和 理解 这 些 语言 ， 并 根据 代码 的 内 容 来 确定 测试 用 例 即 可 。 
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本 章 不 可 能 深入 到 使 用 白 盒 技术 测试 网 站 的 所 有 细节 ， 但 是 要 利用 白 盒 方法 ， 一 些 特性 
的 测试 可 能 更 为 高 效 。 当 然 ， 它 们 也 可 以 当做 黑 盒 子 来 测试 ， 但 是 潜在 复杂 性 是 ， 要 真正 找 
出 重要 的 缺陷 ， 要 求 对 网 站 的 系统 结构 和 编程 知识 有 一 定 的 了 解 : 

。 动态 内 容 。 动态 内 容 是 根据 当前 条 件 发 生变 化 的 文字 和 图 片 一 例如 ， 日 期 时 间 、 用 户 

喜好 或 者 特定 用 户 操作 。 在 HTML 中 嵌入 JavaScript 之 类 的 简单 脚本 语言 可 以 对 这 些 内 

容 编程 ， 这 称 为 客户 端 (client-side) 编程 。 如 果 是 这 样 ， 在 检查 脚本 和 查看 HTML 时 

可 以 运用 灰 盒 测试 技术 。 为 了 提高 执行 效率 , 大 多 数 动态 内 容 编 程 在 网 站 服务 器 上 进行 

这 称 为 服务 器 端 (server-side) 编程 ， 需 要 具有 Web 服 务 器 的 访问 权限 才能 查看 源 代码 。 

。 数据 库 驱 动 的 网 页 。 许 多 显示 分 类 目录 或 者 货物 清单 的 电子 商务 网 页 是 数据 库 驱 动 的 。 
HTML 提 供 Web 内 容 的 简单 布局 ， 而 图 片 、 文 字 说 明 、 价 格 信息 等 则 从 网 站 服务 器 上 的 
数据 库 中 提取 出 来 插入 到 网 页 中 。 

。 用 编程 方法 创建 的 网 页 。 许 多 网 页 ， 特 别 是 包含 动态 内 容 的 网 页 是 用 编程 方法 创建 
的 -一 也 就 是 说 ，HTML， 甚 至 可 能 编程 都 是 由 软件 创建 的 。 网 页 设计 者 可 能 在 数据 库 
中 输入 数据 项 ， 把 各 种 元 素 拖 放 到 布局 程序 中 ， 单 击 按钮 ， 从 而 产生 显示 网 页 的 HTML。 
虽然 看 上 去 有 点 吓人 ,但 是 这 实际 上 与 计算 机 语言 编译 器 创建 机 器 码 没有 什么 差别 。 如 
果 测 试 此 类 系统 ， 就 必须 检查 这 样 产 生 的 HTML 与 设计 的 想法 是 否 一 致 。 

。 服 务 器 性 能 和 加 载 。 流 行 的 网 站 每 天 可 能 要 接受 数 百 万 次 点 击 。 每 一 次 点 击 都 要 从 网 站 
的 服务 器 下 载 数据 到 浏览 者 的 计算 机 上 。 如 果 测 试 一 系统 的 性 能 和 负载 能 力 ， 就 必须 找 
到 一 种 方法 来 模拟 数 百 万 个 连接 和 下 载 。 第 15 章 “自动 测试 和 测试 工具 ”将 介绍 能 用 来 
实现 该 方法 的 技术 和 工具 。 

。 安全 性 。 正 如 前 一 章 讲 的 那样 ， 网 站 安全 性 问题 常常 在 新 闻 中 报道 ， 诸 如 有 黑客 试图 利 
用 各 种 新 型 方法 获得 网 站 内 部 数据 的 访问 权 。 金 融 、 医 疗 和 其 他 包含 个 人 数据 的 网 站 风 
险 特 别 大 ， 需 要 密切 了 解 服务 器 技术 来 测试 其 安全 性 。 


14.5 配置 和 兼容 性 测试 


现在 回 到 我 们 能 做 的 事情 上 ， 测试 网 页 。 回 顾 第 8 章 “ 配 置 测 试 ”和 第 9 章 “ 兼 容 性 测试 ”， 
了 解 配 置 测试 和 兼容 性 测试 的 内 容 是 什么 。 配 置 测试 是 在 各 种 硬件 和 软件 平台 类 型 以 及 其 不 
同 的 设置 情况 下 检查 软件 运行 的 过 程 。 兼 容 性 测试 是 检查 软件 和 其 他 软件 一 起 运行 的 过 程 。 
网 页 是 运用 此 类 测试 的 好 例子 。 
假设 要 测试 一 个 网 站 。 需 要 考虑 可 能 会 影响 网 站 运行 和 外 观 的 硬件 和 软件 配置 。 以 下 是 
需要 考虑 的 内 容 清 单 : 
。 硬件 平台 。 是 Mac 机 、PC 机 、PDA、MSNTV、 还 是 无 线 保 真 《WiFi) 手表 ? 每 一 台 硬 
件 设 备 都 有 自己 的 操作 系统 、 屏 幕布 局 .通信 软件 等 。 每 种 设备 都 会 影响 网 站 在 屏幕 上 
的 外 观 。 
。 浏览 器 软件 和 版 本 。Web 浏 览 器 及 版 本 都 有 多 种 。 有 些 只 能 在 一 种 硬件 平台 上 运行 ， 而 
有 些 可 以 在 多 种 平台 上 运行 。 其 中 一 些 例子 是 AOL 9.0，Firefox 1.0,，Internet Explorer 
5.0 和 6.0，Pocket IE，Netscape 7.2 和 Opera 7.54。 
每 一 种 浏览 器 和 版 本 都 支持 不 同 的 特性 集 。 一 个 网 站 可 能 在 某 种 浏览 器 表现 极 佳 ， 但 是 
在 另 一 种 浏览 器 中 根本 无 法 显示 。Web 设 计 者 可 以 选择 使 用 最 普通 的 特性 设计 站 点 ， 以 便 在 
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所 有 浏览 器 中 同样 显示 ， 也 可 以 选择 为 每 一 种 浏览 器 编写 专用 代码 ， 使 站 点 在 每 种 浏览 器 中 
都 以 最 佳 方式 工作 。 还 可 以 选择 只 支持 最 为 流行 的 几 种 浏览 器 。 这 对 测试 有 何 影 响 ? 

。 浏览 器 插件 。 许 多 浏览 器 可 以 接受 插件 或 者 扩展 来 获得 附加 功能 。 其 中 一 个 例子 是 播放 
某 些 音频 或 者 视频 文件 的 功能 。 

e 浏览 器 选项 。 大 多 数 Web 浏 览 器 允许 大 量 自 定义 。 
图 14-7 给 出 了 一 个 这 样 的 例子 。 可 以 选择 安全 性 选 
项 ， 选 择 文字 标签 如 何 处 理 ， 决 定 是 否 启用 插件 等 。 
每 个 选项 都 对 网 站 运行 有 潜在 的 影响 一 一 因而 都 是 
一 个 需要 考虑 的 测试 情形 。 

。 视频 分 辨 率 和 色 深 。 许 多 平台 可 以 在 各 种 屏幕 分 辨 
率 和 颜色 模式 下 显示 。 例 如 ， 运行 Windows 的 PC 机 
屏幕 尺寸 可 以 是 640 x 480、800 x 600、1024 x 768、 
1280 x 1024 或 者 更 大 。 移 动 设备 的 屏幕 很 小 ， 分 辨 
率 就 完全 不 同 。 网 站 可 能 在 一 种 分 辩 率 下 显示 异样 ， 
甚至 显示 错误 ， 但 是 在 另 一 种 分 辩 率 下 就 不 会 。 文 nT 
字 和 图 片 可 能 换行 位 置 不 同 、 截 掉 一 部 分 ， 或 者 根 。 四 4” 该 全 二 oem Po 
本 不 显示 。 浏览 器 的 可 配置 性 

平台 支持 的 颜色 数 也 会 影响 站 点 的 外 观 。 颜 色 数 最 小 为 16 色 ， 最 多 为 2" 色 。 网 站 可 以 在 
只 有 16 色 的 移动 系统 上 使 用 吗 ? 

。 文字 大 小 。 是 否 知道 用 户 可 以 更 改 浏览 器 中 使 用 的 文字 大 小 ?站 点 可 以 使 用 非常 小 或 者 

非常 大 的 文字 吗 ? 当 站 点 在 分 辨 率 很 低 、 文 字 很 大 的 小 屏幕 上 运行 ， 结 果 会 怎样 ? 

。 调制 解 调 器 速率 。 够 用 不 能 说 成 是 性 能 。 总 有 一 天 所 有 人 都 会 具有 与 设计 者 查看 网 站 数 

据 一 样 快 的 高 速 连接 。 在 此 之 前 ， 必 须 测试 站 点 以 不 同 的 调制 解 调 器 速率 连接 时 工作 是 

否 顺 利 。 

如 果 考 虑 到 这 里 列举 的 全 部 可 能 性 ， 那 么 即使 测试 最 简单 的 网 站 也 可 能 成 为 一 项 艰巨 的 
任务 。 网 站 在 本 地 计算 机 上 看 上 去 没 问题 是 不 够 的 一 -如果 要 保证 很 好 地 为 预定 的 观众 服务 ， 
就 要 研究 他 们 可 能 拥有 的 配置 。 有 了 这 个 信息 ， 可 以 建立 自 认为 最 重要 的 配置 的 等 价 划 分 去 
测试 。 

开展 研究 的 最 佳 站 点 是 www.websidestory.com 和 www.upsdell.com/BrowserNews/stat.htm。 
这 些 站 点 经 常 更 新 有 关 技术 、 浏 览 器 、 视 频 分 辩 率 等 方面 的 调查 报告 。 这 在 决定 尝 行 的 配置 
有 哪些 以 及 其 发 展 趋势 上 是 重要 的 第 一 步 。 


14.6 易 用 性 测试 


易 用 性 和 网 站 有 时 是 相互 排斥 的 术语 。 毫 无 疑问 ， 大 家 都 见 过 难以 导航 的 、 过 期 的 、 显 
示 速 度 慢 的 或 者 简陋 不 堪 的 网 页 。 这 些 站 点 可 能 从 未 被 软件 测试 员 看 到 过 并 不 足 为 奇 。 某 个 
程序 员 或 者 设计 经 验 甚 少 或 没有 的 人 (甚至 设计 经 验 很 丰富 的 人 ) 创建 网 页 并 上 传 使 大 家 可 
以 浏览 ， 没 有 去 想 它 们 是 否 好 用 。 

正如 第 11 章 “ 易 用 性 测试 ”所 述 ， 易 用 性 测试 是 难以 定义 的 过 程 。 一 个 人 认为 不 行 ， 鸡 
_ 个 人 可 能 认为 很 好 一 有 人 认为 绒布 上 的 猫 王 图 案 是 艺术 品 。 万 幸 的 是 ， 遵 守 并 测试 一 些 
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基本 规则 有 助 于 使 网 站 更 加 易 用 。 
Jakob Nielsen (www.useit.com) 是 网 站 设计 和 易 用 性 研究 方面 令 人 尊敬 的 专家 ， 他 对 网 
站 易 用 性 进行 深入 的 研究 。 以 下 清单 摘自 他 的 《Top Ten Mistakes in Web Design》: 

。 窗 目 使 用 不 成 熟 的 新 技术 。 网 站 不 应 该 靠 吹 趴 采用 最 新 Web 技 术 来 吸引 用 户 。 这 样 可 能 
会 吸引 一 些 不 用 脑子 的 人 ， 但 是 主流 用 户 会 更 加 关心 有 用 的 内 容 以 及 站 点 为 客户 提供 良 
好 服务 的 能 力 。 使 用 未 发 布 的 最 新 、 最 棒 技 术 肯 定 会 使 用 户 受 到 打击 ; 如 果 他 们 的 系统 
在 访问 该 网 站 时 崩溃 ， 那 么 可 以 断言 大 部 分 人 不 会 再 回来 了 。 除 非 从 事 因 特 网 产品 和 服 
务 销售 业务 ， 否 则 最 好 等 到 该 技术 具有 一 些 使 用 经 验 之 后 再 采用 。 当 桌面 印刷 刚 开始 流 
行 时 ， 人 们 在 文档 中 放 20 种 不 同 的 字体 ， 要 设法 避免 在 Web 中 出 现 类 似 的 设计 。 

。 滚动 文字 、 滚 动 块 和 不 停 运 行 的 动画 。 不 要 让 网 页 上 有 不 停 移 动 的 元 素 。 移 动 的 图 像 对 
人 类 的 视觉 太 过 刺激 。 网 页 不 应 该 像 纽 约 城 的 时 代 广 场 那 样 不 断 刺 激 人 们 的 感官 一 一 让 
用 户 安安 静 静 地 看 文字 吧 ! 

。 滚动 显示 的 长 页 面 。 当 一 个 页 面 出 现时 ， 用 户 通常 不 喜欢 滚动 查看 屏幕 上 看 不 见 的 信 
息 。 所 有 重要 的 内 容 和 导航 选项 应 该 位 于 页 面 顶端 。 最 近 研 究 表明 ， 与 早期 的 Web 应 用 
相 比 ， 用 户 越 来 越 喜欢 滚动 查看 了 ， 但 是 在 导航 页 上 减少 滚动 仍然 是 好 的 建议 。 

。 非 标准 的 链接 颜色 。 指 向 用 户 未 普 看 过 的 页 面 的 超级 链接 应 该 是 蓝 色 ; 指向 已 经 看 过 的 

” ”页 面 的 链接 应 该 是 紫色 或 者 红色 。 不 要 乱用 这 些 颜 色 ， 因 为 大 多 数 Web 浏 览 器 使 用 的 少 
有 几 个 标准 导航 辅助 之 一 就 是 要 能 了 解 哪 个 链接 已 经 点 击 过 。 告 诉 用 户 链接 颜色 的 含义 
关键 是 一 致 性 。 

。 过 期 信息 。 开 发 小 组 应 该 有 一 个 Web“ 园 丁 ” 随 着 网 站 变化 除草 和 栽 花 。 遗 憾 的 是 ， 
大 多 数 小 组 宁肯 花 时 间 创 建新 内 容 也 不 愿意 进行 维护 。 实 际 上 ， 维 护 是 加 强 网 站 内 容 的 
经 济 之 道 ， 因 为 许多 老 的 网 页 保持 着 原 有 的 关联 ， 应 该 与 新 的 网 页 建立 链接 。 当 然 ， 某 
些 网 页 在 终止 日 期 之 后 景 好 从 服务 器 上 彻底 删 掉 。 

。 下 载 时 间 过 长 。 传 统 的 人 为 因素 规范 指出 ，0.1 秒 是 用 户 感觉 系统 反应 迅速 的 极限 ; 1 种 
是 用 户 思路 不 间断 的 极限 ; 10 秒 是 用 户 完全 丧失 兴趣 的 最 长 响应 时 间 。 

在 Web 上 ， 用 户 已 经 被 磨 练 地 能 够 忍受 更 长 时 间 了 ， 对 于 一 些 网 页 最 长 可 接受 时 间 增加 

到 15 秒 。 但 是 ， 不 要 以 此 为 目标 一 一 把 目标 定 得 更 短 一 些 

。 缺 少 导航 支持 。 不 要 假设 用 户 也 知道 站 点 的 内 容 和 站 点 设计 者 一 样 多 。 他 们 总 是 难以 找 
到 信息 ， 因 此 需要 以 在 结构 和 位 置 上 给 人 强烈 感觉 的 形式 进行 支持 。 站 点 设计 应 该 从 很 
好 地 了 解 信 息 空间 的 结构 开始 ， 并 把 结构 明确 地 传达 给 用 户 。 为 用 户 提供 站 点 地 图 ， 使 
其 清楚 目前 的 位 置 ， 以 及 可 以 到 达 哪 里 。 站 点 还 应 该 具有 良好 的 搜索 特性 ， 因为 即使 最 
好 的 导航 支持 也 不 一 定 够 用 。 

ve 孤 页 。 所 有 网 页 一 定 要 包含 本 身 所 属 网 站 的 明确 指示 ， 因 为 用 户 可 能 不 经 过 主页 而 直 
接 访问 网 页 。 同样 的 原因 ， 每 个 网 页 都 应 该 与 主页 链接 ， 以 及 它 在 信息 空间 结构 的 位 
置 指示 。 

。 复 杂 的 网 站 地 址 (URL)。 像 URL 这 样 的 机 器 寻 址 虽然 永远 不 会 显露 在 用 户 界 面 上 ， 但 
是 ， 经 研究 发 现 用 户 实际 上 在 设法 分 析 网 页 的 URL， 以 推断 网 站 的 结构 。 用 户 这 样 做 是 
因为 缺少 导航 支持 ( 见 前 述 ) 和 不 明 网 页 在 当前 Web 浏 览 器 中 的 位 置 。 因 此 ，URL 应 该 
包含 反映 网 站 内 容 的 本 质 的 便于 人 们 阅读 的 名 称 。 
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此 外 ， 用 户 还 常常 会 输入 URL， 因 此 网 站 设计 者 应 该 设法 减少 输入 风险 ， 诸 如 全 部 
使 用 小 写 的 短 名 称 ， 且 不 用 特殊 的 字符 (许多 人 不 知道 怎样 输入 -~ )。 

。 使 用 框架 。 框 架 是 允许 在 一 个 网 页 中 显示 其 他 网 页 的 HTML 技 术 ， 框 架 由 此 得 名 一 一 与 
图 文 框 类 似 。 把 网 页 分 割 为 框架 可 能 会 使 用 户 迷 惑 ， 因 为 框架 打破 了 网 页 的 基本 用 户 模 
式 。 突 然 之 间 当 前 网 页 不 能 加 书签 (书签 指向 另 一 个 框架 集 ) ， 也 不 能 返回 了 ，URL 不 
再 有 效 ， 打 印 输出 发 生 困难 。 更 精 粒 的 是 ， 用 户 操作 的 预见 性 消失 了 一 用 户 随时 随 
地 单 击 一 个 链接 : 谁 知道 会 显示 什么 信息 ? 许多 网 站 设计 者 为 了 避免 这 些 问 题 ， 放 弃 了 
使 用 框架 ， 而 只 是 简单 地 打开 另外 一 个 窗口 。 

如 果 测 试 网 站 ， 就 要 充分 利用 测试 员 的 权限 报告 易 用 性 方面 的 软件 缺陷 。 回 顾 基 本 用 户 界 
面 设计 技术 ， 了 解 良好 易 用 性 的 组 成 要 素 。 这 方面 好 的 资源 是 标题 为 : “Improving Web Site 
Usability and Appeal” 的 Microsoft 研 究 文档 。 其 网 址 是 msdn.microsoft.com/workshop/ 
management/planning/improvingsiteusa.asp。 该 文档 提供 了 Microsoft 在 设计 其 MSN 网 站 内 容 时 优 
秀 的 实际 经 验 。 不 要 因为 该 文档 的 日 期 是 1997 年 就 弃 之 不 要 。 好 的 设计 不 受 时 间 限 制 。 


14.7 自动 化 测试 简介 


本 章 最 后 部 分 是 本 书 下 一 章 “ 自 动 测试 和 测试 工具 ”的 引言 。, 

在 阅读 本 章 时 读者 可 能 会 问 ， 怎 么 可 能 有 足够 的 时 间 对 复杂 的 大 型 网 站 进行 彻底 的 测试 
呢 ? 简单 地 单 击 所 有 链接 ,验证 其 有 效 性 就 会 花 去 大 量 时 间 , 再 加 上 测试 网 站 特性 的 基本 功能 ， 
进行 配置 和 兼容 性 测试 ， 设 法 模拟 数 千 甚至 数 百 万 用 户 来 测试 性 能 和 负载 ， 任 务 太 艰巨 了 。 

幸好 所 有 这 些 测试 不 必 手 工 进行 。 有 测试 工具 可 用 ， 既 有 免费 的 ， 也 有 收费 的 ， 这 将 使 
工作 难度 大 幅 降低 。 有 些 工 具 位 于 www.netmechanic.com 。 该 站 点 和 其 他 类 似 的 站 点 都 提供 
极 易 使 用 的 工具 ， 自 动 检查 网 站 并 测试 其 对 浏览 器 的 兼容 性 、 性 能 问题 、 断 开 的 超级 链接 、 
HTML 标 准 符合 程度 和 拼写 。 它 们 甚至 能 指出 站 点 上 哪个 图 片 可 能 太 大 ， 可 能 影响 显示 速度 。 
这 些 工具 比 通常 的 手工 执行 可 以 节省 大 量 时 间 。 看 看 它们 可 以 对 学 习 第 15 章 有 一 些 感性 认识 。 


14.8 小 结 . 


本 章 是 第 三 部 分 的 轰 合 。 第 三 部 分 涉及 面 很 广 -从 视频 卡 设置 到 匈牙利 本 地 化 到 简陋 的 
网 站 。 这 些 主题 只 是 整个 软件 世界 的 一 小 部 分 。 多 样 性 为 软件 测试 带 来 无 限 的 挑战 。 每 天 都 
有 新 的 软件 发 布 ， 不 断 推进 技术 的 进步 ， 带 来 独特 而 有 趣 的 测试 问题 期 待 解决 。 网 站 测试 是 
本 章 合适 的 主题 ， 但 是 谁 知道 将 来 会 变 成 什么 样 。 

但 不 在 阅读 第 三 部 分 的 各 章 时 ， 读 者 能 够 认识 到 即使 对 于 小 规模 软件 产品 或 者 网 站 进行 
测试 ， 也 会 有 大 量 的 测试 工作 要 做 。 一 个 程序 员 面 对 各 种 可 能 的 平台 、 配 置 、 语 言 和 用 户 编 
写 的 上 百 行 代码 就 需要 数 十 甚至 数 百 个 测试 员 来 进行 完全 的 测试 。 排 列 组 合 是 无 限 的 ， 即 使 
进行 仔细 的 等 价 划分 以 减少 测试 用 例 的 数目 ， 测 试 任务 仍然 显得 太 大 ， 难 以 处 理 。 

以 下 两 章 将 讲述 如 何 合理 调配 工具 和 人 员 ， 将 巨大 任务 减 化 为 可 以 控制 的 程度 。 


14.9 小 测验 
以 下 是 帮助 读者 加 深 理 解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 
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1. 使 用 黑 盒 测试 技术 ， 网 页 的 哪些 基本 元 素 可 以 轻易 地 测试 到 ? 

2. 什么 是 灰 盒 测试 ? 

3. 为 什么 网 站 测试 可 以 使 用 灰 盒 测试 ? 

4. 为 什么 不 能 依赖 拼写 检查 工具 来 检查 网 页 的 拼写 ? 

5. 列 出 在 进行 网 站 兼容 性 测试 和 配置 测试 时 需要 考虑 到 的 一 些 方面 。 

6. Jakob Neilsen 的 10 个 常见 网 站 错误 中 哪儿 个 会 导致 兼容 性 和 配置 缺陷 ? 





第 四 部 分 
测试 的 补充 


如 果 一 大 群 猴 子 在 打字 机 上 乱 裔 ， 它 们 可 能 会 写 出 大 英 博 物 馆 里 的 所 有 书籍 。 


一 一 亚 瑟 . 爱 丁 顿 (Arthur Eddington) 前 士 ,英国 天 文 和 物理 学 家 


要 想 出 一 个 好 点 子 的 最 好 方法 是 想 出 许多 的 点 子 。 
一 一 菜 纳 斯 锡 林 (Linus Pauling )， 
1954 年 诺 贝 尔 化 学 奖 和 1962 年 诺 贝 尔 和 平 奖 得 主 
本 部 分 内 容 : 


第 15 章 自动 测试 和 测试 工具 
第 16 章 缺陷 友 炸 和 Beta 测 试 





第 15 章 
自动 测试 和 测试 工具 


测试 软件 是 一 项 艰苦 的 工作 。 如 果 在 阅读 本 书 的 同时 已 经 进行 了 一 些 测试 ， 就 会 明白 执 
行 测试 工作 需要 投入 大 量 的 时 间 和 精力 ; 诚然 ， 可 以 多 花 一 些 时 间 对 测试 用 例 进行 等 价 划 分 ， 
减少 执行 的 数量 ， 但 是 随 之 就 会 前 更 多 风险 ， 因 为 减少 了 测试 覆盖 范围 ， 选 择 对 某 些 重要 的 
特性 不 进行 测试 ， 如 果 测试 员 需 要 做 更 多 测试 ， 但 是 没有 时 间 ， 怎 么 办 ? 

答案 是 采用 人 们 在 其 他 领域 和 行业 中 用 了 多 年 的 办 法 一 开发 并 使 用 工具 ， 使 工作 更 加 轻 
松 和 高 效 。 本 章 要 讲 的 就 是 这 方面 的 内 容 。 

本 章 重点 包括 : 

。 为 什么 测试 工具 和 自动 化 是 必须 的 

。 可 用 的 简单 工具 例子 。 

。 工 具 如 何 实现 测试 的 自动 化 

。 如 何 饲养 和 照顾 “猴子 。。。 

。 测试 工具 和 自动 化 为 什么 不 是 灵丹妙药 


15.1 工具 和 自动 化 的 好 处 


”回顾 一 下 软件 是 如 何 创 建 的 。 在 大 多 数 软件 开发 模式 中 ， 软 件 发 布 之 前 要 多 次 重复 代 
码 一 一 测试 一 修复 的 过 程 。 如 果 要 测试 某 项 特性 ， 也 许 需要 不 止 一 次 执行 测试 ， 而 是 重复 多 
次 。 还 要 检查 确认 在 前 面 的 测试 中 发 现 的 软件 缺陷 修复 了 ， 同时 又 没有 引入 新 的 软件 缺陷 。 
重复 执行 测试 的 过 程 称 为 回归 测试 。 | 
如 果 一 个 小 型 软件 项 目 有 数 千 个 测试 用 例 要 执行 ， 时 间 可 能 只 够 执行 一 次 测试 。 多 次 执 
行 测 试 是 不 可 能 的 ， 更 不 用 说 多 次 测试 的 单调 和 枯燥 了 。 通 过 提供 比 手工 测试 更 有 效 的 手段 ， 
软件 测试 工具 和 自动 化 可 以 帮助 解决 这 个 问题 。 
工具 和 自动 化 的 主要 属性 是 : 
。 速度 。 想 一 想 手工 尝试 Windows 计 算 器 的 数 千 个 测试 用 例 要 花 多 少时 间 。 也 许 大 约 平均 
每 5 秒 执行 一 个 测试 用 例 。 而 自动 化 可 能 以 10 倍 、100 倍 甚至 1000 倍 这 样 的 速度 来 执行 
。 效率 。 当 测试 员 忙 于 执行 测试 用 例 时 ， 他 会 无 暇 干 别 的 。 如 果 有 一 个 测试 工具 减少 了 执 
行 测试 用 例 的 时 间 ， 测 试 员 就 有 更 多 时 间 进 行 测试 计划 ， 考 虑 新 的 测试 用 例 。 
。 准确 度 和 和 精确 度 。 测试 员 尝试 几 百 个 测试 用 例 之 后 , 注意 力 可 能 会 分 散 , 并 开始 犯错 误 。 
而 测试 工具 则 会 一 如 既往 地 每 次 执行 同样 的 测试 ， 并 毫 无 差错 地 检查 结果 。 
。 节省 资源 。 有 时 要 执行 一 些 宰 试用 例 基本 上 是 不 可 能 的 ， 比 如 创建 测试 条 件 需要 的 人 数 
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或 设备 数目 可 能 就 不 允许 。 测 试 工具 可 以 用 来 模拟 真实 的 情况 ， 大 大 减少 执行 测试 需要 

的 物理 资源 。 

。 仿真 和 模拟 。 测 试 工具 常用 来 代替 正常 情况 下 与 产品 连接 的 硬件 或 软件 。 这 些 “ 伪 ” 设 

备 或 “ 伪 ” 程 序 以 选 定 的 方式 来 驱动 或 响应 软件 一 一 除 此 之 外 ， 实 现 起 来 可 能 困难 。 

。 坚持 不 懈 。 测 试 工 具 和 自动 化 永远 不 会 劳累 或 者 半途 而 废 。 它 们 就 像 电视 广告 中 电动 的 

小 兔子 一 一 不 停 地 跑 啊 跑 ……。 

所 有 这 些 昕 起 来 像 重 大 新 闻 。 测 试 工具 可 以 代劳 所 有 工作 一 一 轻松 地 使 用 工具 ， 然 后 就 静 
观 结果 。 令 人 遗憾 的 是 ， 膏 情 并 没有 那么 容易 。 即 使 木匠 有 电 句 和 和 钉 枪 ， 房 屋 也 不 会 自动 就 
建 好 。 工 具 只 能 使 工作 更 容易 、 工 作 结 果 的 质量 更 高 。 软 件 测试 工具 的 使 用 也 是 一 样 。 


注意 软件 测试 工具 不 能 代 葵 软件 测试 员 一 一 它们 只 能 帮助 软件 测试 员 更 好 地 工作 。 


一 定 要 注意 使 用 测试 工具 不 见得 总 是 对 的 ， 有 时 手工 测试 是 不 可 代替 的 。 目 前 的 任务 是 
了 解 测试 工具 能 做 什么 以 及 怎么 做 ， 孝 虑 如 何 用 它们 来 完成 测试 任务 。 本 章 最 后 将 讲述 在 着 
手 使 用 工具 测试 软件 项 目 之 前 的 一 些 限制 和 注意 事项 。 


15.2 测试 工具 


软件 测试 员 会 面 对 一 大 堆 测 试 工具 。 使 用 工具 的 类 型 取决 于 测试 的 软件 类 型 ， 以 及 是 进 
行 黑 盒 测 试 还 是 白 盒 测试 。 

测试 工具 的 好 处 是 使 用 时 并 不 是 总 需要 深入 了 解 工具 在 怎样 做 或 者 做 什么 。 假 设 正在 测 
试 允 许 一 台 计算 机 同时 与 1 百 万 台 计算 机 连接 的 网 络 软件 。 即 使 有 可 能 ， 也 很 难 用 1 百 万 个 真 
实 的 连接 进行 可 以 控制 的 测试 。 但 是 ， 如 果 有 人 提供 能 够 模拟 那些 连接 的 专用 工具 ， 也 许可 
以 从 1 到 1 百 万 调整 连接 的 数目 ， 就 可 以 在 不 搭建 实际 连接 环境 的 前 提 下 进行 测试 。 测 试 员 不 
” 必 了 解 工具 是 怎样 做 到 的 ， 只 要 知道 它 做 得 到 就 可 以 了 一 一 这 就 是 黑 盒 测试 。 

另 一 方面 ， 还 可 以 建立 工具 监视 和 改变 上 百 万 计算 机 之 间 原 始 通信 的 工具 。 要 有 效 使 用 
这 些 工具 ， 测 试 员 需 要 具备 一 些 白 盒 技能 以 及 底层 协议 的 知识 。 


注意 ”本 例 体现 了 两 种 工具 一 “ 非 入 侵 式 工具 和 入 侵 式 工具 的 重大 差别 。 如 果 工 具 仅 用 
于 监视 和 检查 软件 而 不 对 其 进行 修改 ， 就 认为 是 非 入 侵 式 工具 。 但 是 如 果 工 具 以 任何 
方式 修改 了 程序 代码 或 者 控制 了 操作 环境 ， 就 属于 入 侵 式 工具 。 由 于 入 侵 的 程度 各 有 
不 同 ， 测 试 员 通 常设 法 使 用 侵入 性 尽量 小 的 工具 ， 以 减少 工具 影响 测试 结果 的 可 能 性 。 


下 面 将 讨论 测试 工具 的 主要 分 类 及 其 使 用 方式 。 有 些 例子 的 工具 包含 大 多 数 编程 语言 ; 
而 另 一 些 是 单独 销售 的 商用 工具 。 然 而 ， 有 时 你 会 发 现 自己 的 软件 或 硬件 很 独特 ， 必 须 自行 
开发 或 者 让 别人 来 开发 符合 特定 要 求 的 自 定义 测试 工具 。 虽 然 如 此 ， 它 们 仍然 属于 这 种 分 类 
之 一 。 
15.2.1 查看 器 和 溜 视 器 

总 看 器 (viewer) 或 者 监视 器 (monitor) 测试 工具 能 够 看 到 正常 情况 下 看 不 到 的 软件 运 
行 的 细节 。 第 7 章 “ 带 上 X 光 眼镜 测试 软件 ”讲述 了 代码 各 盖 率 分 析 器 是 如 何 提供 一 种 方式 来 


查看 哪些 代码 行 得 以 执行 、 什 么 函数 正在 运行 、 执 行 测试 时 所 运行 的 代码 分 支 的 。 代 码 覆 盖 
率 分 析 器 是 查看 工具 的 一 个 例子 。 大 多 数 代码 覆盖 率 分 析 器 是 入 侵 式 工具 ， 因 为 它们 需要 纺 
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译 并 链接 到 原 程 序 中 才能 获得 所 需 信 息 。 

图 15-1 给 出 了 另 一 种 查看 器 的 例子 一 一 通信 分 析 器 (communications analyzer 或 comm 
analyzer )。 该 工具 允许 查看 通过 网 络 或 者 其 他 通信 电缆 传输 的 原始 协议 数据 。 它 只 是 监听 线 
路 ,提取 经 过 的 数据 ,在 另 一 台 计 算 机 上 显示 。 在 这 个 例子 中 ,可 以 在 1 号 机 上 输入 测试 用 例 ， 
在 3 号 机 上 确认 产生 的 通信 数据 是 正确 的 ， 并 在 2 号 机 上 检测 相应 的 结果 。 利 用 该 系统 还 可 以 
观察 软件 缺陷 为 什么 会 产生 。 通 过 查看 从 线 上 提取 的 数据 ， 就 可 以 确定 问题 是 出 于 创建 数据 
(1 号 机 ) 还 是 解释 数据 (2 号 机 )。 这 种 类 型 的 系统 对 软件 是 非 人 侵 式 的 。 在 网 络 中 ， 这 种 监 
视 器 被 称 为 嗅 探 器 (Sniffer) ， 因 为 它 像 一 个 电子 鼻 ， 从 空气 中 嗅 探 数据 。 





1 号 计算 机 2 号 计算 机 
软件 正在 测试 软件 正在 测试 
-a | 于 
监听 
线路 





3 号 计算 机 
查看 测试 工具 


图 15-1 通信 分 析 器 可 以 查看 两 个 系统 之 间 传 输 的 原始 数据 


大 多 数 编译 器 附带 的 代码 调试 器 也 可 以 看 做 查看 器 ， 因 为 它们 允许 程序 员 或 者 白 盒 测 试 
员 查 看 内 部 变量 值 和 程序 状态 。 任 何 能 够 洞察 系统 ， 看 到 一 般 用 户 看 不 到 的 数据 的 工具 都 可 
以 归 类 为 查看 测试 工具 。 


15.2.2 驱动 程序 


驱动 程序 是 控制 和 操作 被 测试 软件 的 工具 。 最 简单 的 驱动 程序 例子 是 批 处 理 文件 (batch 
file)， 即 依 先后 顺序 执行 的 程序 或 命令 的 一 个 简单 清单 。 在 MS-DOS 时 代 ， 这 是 测试 员 执行 测 
试 程序 的 流行 方式 。 他 们 会 创建 包含 测试 程序 名 称 的 批 处 理 文件 ， 启 动 运行 批 处 理 文件 ， 然 
后 返回 。 在 现今 的 操作 系统 和 编程 语言 下 ， 执 行 测试 程序 有 更 多 复杂 的 方法 。 例 如 ，Java 和 
Perl 脚 本 可 以 取代 老 的 MS-DOS 批 处 理 文件 ， 并 且 Windows 任 务 调度 程序 ( 见 图 15-2) 可 以 在 
全 天 24 小 时 的 任意 时 刻 执 行 各 种 测试 程序 。 

图 15-3 给 出 了 驱动 程序 工具 的 另 一 个 例子 。 假 设 正 在 测试 的 软件 的 测试 用 例 需要 输入 大 
量 数据 。 随 着 硬件 的 一 些 变更 和 软件 工具 的 使 用 ， 可 以 用 另 一 台 计 算 机 取代 原来 的 键盘 和 鼠 
标 作为 驱动 程序 来 测试 。 在 这 人 台 作 为 驱动 程序 的 计算 机 上 可 以 编写 简单 的 程序 自动 产生 相应 
的 击 键 和 鼠标 移动 操作 来 测试 软件 。 

读者 可 能 会 想 为 什么 要 这 么 麻烦 使 用 如 此 复杂 的 设置 ? 为 什么 不 是 简单 地 运行 一 个 程序 ， 
在 第 1 个 系统 中 执行 向 被 测试 软件 发 送 击 键 信息 呢 ? 其 中 有 两 个 溢 在 的 问题 : 

。 软件 或 者 操作 系统 可 能 不 是 多 任务 的 ， 同 时 运行 另 一 个 驱动 程序 是 不 可 能 的 。 
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。 通过 从 外 部 计算 机 发 送 击 键 和 鼠标 移动 信息 ， 被 测试 系统 处 于 非 入 侵 状 态 。 如 果 测 试 软 

件 时 在 同一 个 系统 中 执行 驱动 程序 ， 它 就 是 入 侵 式 的 ， 这 种 测试 情况 可 能 不 允许 。 

在 设法 驱动 被 测试 的 软件 时 ， 想 一 想 从 外 部 控制 程序 的 所 有 可 行 方法 。 然 后 ， 想 方法 用 
自动 提供 测试 输入 的 方式 代替 外 部 控制 。 





正常 系统 配置 


测试 驱动 
配置 


图 15-3 一 人 台 计 算 机 可 以 作为 驱动 程序 测试 工具 取代 被 测试 系统 的 键盘 和 鼠标 


15.2.3 桩 


柱 和 驱动 程序 一 样 ， 属 于 第 7 章 所 述 的 白 盒 测试 技术 。 桂 与 驱动 程序 本 质 上 是 相反 的 ， 桩 
不 控制 或 者 操作 被 测试 软件 ; 相反 ， 它 接收 或 者 响应 软件 发 送 的 数据 。 图 15-4 给 出 的 例子 有 
助 于 浴 清 这 一 点 。 | 

如 果 测试 向 打印 机 发 送 数据 的 软件 ， 一 种 方法 是 输入 数据 并 打印 ， 然 后 查看 打印 输出 结 
果 。 这样 虽 然 可 行 ， 但 是 太 慢 、 没 有 效率 、 易 发 生 错误 。 怎样 分 辨 给 出 是 缺 了 一 个 像素 还 是 
一 点 点 色差 ?如果 换 成 用 运行 桩 软件 的 另 一 台 计算 机 来 代替 打印 机 ， 读 取 并 解释 打印 数据 ， 
就 可 以 非常 快捷 并 且 准 确 地 检验 测试 结果 。 
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正常 系统 配置 测试 桩 配置 
图 15-4 一 台 计 算 机 可 以 作为 柱 ， 代 替 打 印 机 ， 以 便 对 测试 输出 进行 更 有 效 的 分 析 


当 软 件 需要 与 外 部 设备 进行 通信 时 经 常 要 用 到 桩 。 一 般 在 开发 过 程 中 不 能 得 到 这 些 设备 ， 
或 者 这 些 设备 很 少 。 桩 就 可 以 使 测试 在 没有 硬件 的 条 件 下 进行 ， 使 测试 更 加 有 效 。 


注意 “大 家 可 能 听 说 过 仿真 器 (emulator) 这 个 术语 。 仿 真 器 是 在 实际 使 用 中 用 来 替 
代 真 正 设备 的 设备 。 把 PC 机 当做 一 台 打 印 机 ， 像 一 台 真 正 打 印 机 一 样 解释 打印 机 编码 
并 响应 软件 指令 ， 这 时 PC 机 就 是 一 台 仿 真 器 。 仿 真 器 和 桩 的 区 别 在 于 桩 还 给 测试 程序 
提供 手段 来 查看 和 解释 发 送 给 它 的 数据 ， 桩 是 仿真 器 的 超 集 。 


15.2.4 压力 和 负载 工具 


0 A aklaaanlavnWGwRes 文字 处 理 程序 如 
果 作 为 系统 上 唯一 运行 的 应 用 程序 ， 有 足够 的 内 存 和 磁盘 空间 ， gg . = 
工作 状况 就 可 能 相当 好 。 但 是 ， 如 果 杀 统 资源 不 足 ， 就 极 有 可 能 
碰 到 许多 潜在 软件 缺陷 。 虽 然 可 以 通过 复制 文件 使 磁盘 占 满 ， 运 
行 大 量程 序 耗 尽 内 存 等 ， 但 是 这 些 方法 效率 不 高 ， 而 且 不 够 恰当 。 
为 此 专门 设计 的 压力 工具 可 以 使 测试 更 加 容易 。 

图 15-5 显 示 了 Microsoft 编 程 语言 开发 的 压力 工具 软件 。 其 他 
操作 系统 和 语言 也 有 类 似 的 工具 软件 。 压 力 程序 可 以 分 别 设 置 内 ”图 15-5 Microsoft 压 力 工具 
存量 、 磁 盘 空间 大 小 、 文 件数 量 ， 以 及 在 该 机 器 上 运行 软件 的 其 。 “软件 可 以 设置 被 测试 软件 
他 可 用 资源 。 可 用 的 系统 资源 

把 这 些 值 设 置 为 零 或 者 近似 为 零 ， 会 使 软件 执行 不 同 的 代码 分 支 以 试图 处 理 这 种 紧迫 限 
制 。 理 想 情况 是 软件 运行 不 发 生 崩 溃 或 者 数据 丢失 。 它 可 能 运行 得 很 缓慢 ， 或 者 宣布 在 内 存 
不 足 情况 下 运行 ， 但 是 无 论 如 何 它 会 正确 地 运行 ， 或 者 正常 地 降级 运行 。 

负载 工具 和 压力 工具 的 相似 之 处 是 ， 它 们 为 软件 创造 了 用 其 他 方式 难以 创造 的 环境 条 件 。 
例如 ， 运 行 在 Web 服 务 器 上 的 商用 程序 可 以 通过 模拟 一 定数 量 的 连接 和 单 击 次 数 来 增 大 负载 ， 
使 其 不 堪 重 负 。 利 用 它 可 以 检查 10 000 个 模拟 用 户 和 每 天 1 百 万 次 单 击 能 否 得 到 处 理 而 不 延长 
响应 时 间 。 有 了 负载 工具 ， 就 可 以 方便 地 设置 到 该 级 别 、 执 行 测试 、 观 看 结果 。 


15.2.5 干扰 注入 器 和 噪声 发 生 器 


另 一 类 工具 是 干扰 注入 器 (interference injectors ) 和 噪声 发 生 器 (noise generators ) 。 它 
们 类 似 于 压力 和 负载 工具 ， 但 是 在 行为 上 更 具有 随机 性 。 例 如 ， 压 力 工具 具有 随机 更 改 可 用 
资源 的 执行 模式 。 某 个 程序 可 能 在 内 存 充足 条 件 下 运行 良好 ， 也 能 应 付 内 存 不 足 状况 ， 但 是 
如 果 可 用 内 存 不 断 变化 ， 就 可 能 有 问题 。 压 力 工具 的 执行 模式 可 以 暴露 此 类 软件 缺陷 。 

类 似 地 ， 可 以 对 如 图 15-1 所 示 的 查看 器 工具 设置 进行 一 点 改动 ， 建 立 如 图 15-6 所 示 的 测试 
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设置 。 在 这 种 情况 下 ， 查 看 器 由 硬件 和 软件 代替 ， 不 仅 允 许 查看 通信 线路 上 的 数据 ， 而 且 人 允 
许 更 改 。 这 就 成 为 了 一 个 干扰 注入 器 。 这 样 的 设置 可 以 模拟 所 有 由 数据 中 断 、 噪 声 或 者 电缆 
损坏 等 因素 导致 的 通信 错误 。 


1 号 计算 机 2 号 计算 机 
软件 正在 测试 软件 正在 测试 


EF EL - 








3 号 计算 机 
干扰 测试 工具 


图 15-6 挂 在 通信 线路 上 的 干扰 注入 器 可 以 测试 软件 能 否 处 理由 超声 引起 的 错误 情况 
决定 在 哪里 和 如 何 使 用 干扰 注入 器 和 噪声 发 生 器 时 ， 考 虑 何 种 外 部 因素 会 影响 测试 软件 ， 
然后 设法 改变 和 操纵 这 些 影 响 因 素 看 软件 如 何 应 付 。 


15.2.6 分 析 工 具 


最 后 一 类 工具 称 为 分 析 工 具 (analysis tool)， 是 余下 的 一 组 最 佳 工 具 。 大 多 数 软 件 测 试 员 
利用 以 下 常用 工具 使 日 常 工作 简化 。 它 们 不 一 定 像 前 面 的 工具 一 样 吸引 人 。 虽 然 它 们 常常 不 
受 重视 ， 但 是 它们 能 够 促进 测试 ， 节 省 大 量 时 间 。 

。 文字 处 理 软件 

。 电子 表格 软件 

。 数据 库 软 件 

。 文件 比较 软件 

。 抓 屏 和 比较 软件 

。 调试 器 

。 二 进 制 

。 秒表 

。 录 像 机 或 者 照相 机 

当然 ， 软 件 的 复杂 性 和 方向 性 总 是 在 变 。 要 视 具体 情况 来 决定 最 有 效 的 工具 是 什么 ， 以 
及 如 何 运用 他 们 。 


15.3 软件 测试 自动 化 


虽然 测试 自动 化 (test automation) 只 是 另 一 类 软件 测试 工具 ， 但 是 它 是 值得 特别 考虑 的 。 
到 目前 为 止 ， 所 学 的 软件 测试 工具 虽然 确实 有 效 ， 但 是 仍然 需要 手工 操作 或 者 监视 。 假 如 这 
些 工具 结合 起 来 ， 启 动 、 执 行 几乎 不 用 人 工 干 预 会 怎样 ”它们 可 以 执行 测试 用 例 、 查 找 软件 





十 六 进 制 计算 器 


萝 15 间 “自动 测试 无 测试 工具 161 


缺陷 、 分 析 看 到 的 信息 、 记 录 结 果 。 这 就 是 软件 测试 自动 化 。 
本 章 以 下 几 节 将 介绍 不 同类 型 的 自动 化 ， 从 最 简单 的 过 渡 到 最 复杂 的 。 


15.3.1 宏 录制 和 回放 


最 基本 的 测试 自动 化 类 型 是 录制 第 一 次 执行 测试 用 例 时 的 键盘 和 鼠标 操作 ， 然后 在 需要 
重新 执行 这 些 测试 时 回放 一 次 。 如 果 测 试 的 
软件 是 运行 在 Windows 或 Mac 上 的 ， 录制 和 
回放 宏 是 相当 容易 的 过 程 。 在 Mac 系 统 上 可 
以 使 用 Quickeys 程 序 ; 在 Windows 上 共享 程 
序 Macro Magic 是 上 佳之 选 。 由 于 有 许多 宏 
录制 和 回放 程序 可 用 ， 因 此 尽 可 以 广泛 收 罗 
共享 软件 ， 从 中 找 出 最 符合 要 求 的 。 

宏 录 制 器 和 播放 器 是 一 种 驱动 程序 工 
有 具 。 如 前 所 述 ， 驱 动 程序 是 用 于 控制 和 操作 
被 测试 软件 的 工具 。 利 用 宏 程序 ， 测 试 员 可 ”图 15-7 Macro Magic 设 置 向 导 可 以 配置 录制 的 宏 如 何 
一 沿 |、 触发 和 回放 (图 片 摘 自 Iolo Technologies， 
软件 的 操作 。 见 www.iolo.com ) 

图 15-7 给 出 了 Macro Magic 设 置 向 导 的 一 个 画面 ， 引 领 用 户 进行 一 步 一 步 配 置 和 捕捉 宏 所 
必需 的 步骤 。 

Macro Magic 设 置 向 导 可 以 设置 宏 的 如 下 选项 : 

。 名 称 。 为 宏 命 名 以 便 以 后 辨认 。 即 使 对 于 小 型 软件 项 目 ， 也 可 能 要 编写 数 百 个 宏 。 

。 重复 次 数 。 重 复 测试 是 找 出 软件 缺陷 的 好 方法 。 可 以 设置 宏 在 运行 时 重复 或 者 循环 的 

次 数 。 

。 触发 条 件 。 设 置 宏 如 何 启 动 ， 可 以 按 热 键 (例如 Ctrl+ Shift+T)、 输 入 一 串 字符 (例如 
run macro 1)、 单 击 快捷 方式 、 当 某 个 窗口 显示 出 来 时 (例如 ， 一旦 计算 器 启动 ) 或 者 
当 系 统 朵 置 一 段 时 间 之 后 来 启动 。 

。 捕捉 对 象 。 可 以 选择 只 捕获 (记录) 键盘 操作 或 键盘 以 及 鼠标 的 移动 和 单 击 都 记录 。 

。 回放 速度 。 宏 回放 的 速度 比 最 初 录制 时 最 多 慢 20% ， 最 多 快 500%。 这 对 于 软件 性 能 可 
以 变化 的 情形 很 重要 。 假如 测试 的 软件 变 得 有 点 慢 , 而 宏 单 击 的 按钮 还 未 出 现在 屏幕 上 ， 
结果 会 怎样 ? 

。 回放 位 置 。 该 选项 确定 鼠标 移动 和 单 击 位 置 与 某 个 窗口 的 位 置 是 绝对 的 还 是 相对 的 。 如 

果 测 试 某 个 可 能 在 屏幕 上 改变 位 置 的 应 用 程序 ， WT 
否则 鼠标 单 击 位 置 可 能 不 是 预期 的 位 置 。 

现在 该 实验 宏 的 录制 和 回放 了 。 寻 找 和 下 载 一 些 宏 软件 ， 在 几 个 简单 程序 (例如 计算 器 
和 记事 本 ) 上 反复 试用 ， 验 证 想法 。 要 像 测试 员 那 样 思考 | 通过 实验 可 以 发 现 虽 然 宏 可 以 进 
行 一 些 自动 测试 ， 使 重新 执行 测试 更 加 容易 和 迅速 ， 但 是 效果 并 不 理想 。 最 大 的 问题 是 缺乏 
仿 证 。 宏 无 法 检验 软件 是 否 以 预期 方式 进行 。 宏 虽然 可 以 在 计算 器 中 输入 100 - 99， 但 是 不 能 
测试 结果 是 否 为 1 一 一 测试 员 仍 然 要 测试 。 诚 然 ， 这 是 一 个 问题 ,但 是 许多 测试 员 乐 于 宏 消 除 
了 所 有 重复 输入 和 鼠标 移动 。 只 观察 宏 的 执行 ， 确 认得 到 预期 结果 是 非常 轻松 的 。 
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回放 速度 是 宏 的 另外 一 个 难题 。 即使 可 以 调整 回放 的 速度 ， 也 不 见得 总 能 保持 宏 同 步 执 
行 。 网 页 可 能 需要 1 秒 或 者 10 秒 来 加 载 。 虽然 可 以 根据 预计 最 差 情形 降低 宏 的 速度 ， 但 是 它 的 
执行 速度 就 会 一 直 慢 ， 即 使 软件 运行 速度 变 快 了 也 无 济 于 事 。 此 外 ， 如 果 网 页 加 载 意外 地 用 
了 15 秒 钟 ， 宏 仍然 会 出 现 混 乱 一 一 在 错误 时 刻 单 击 错误 的 位 置 。 


注意 ”在 使 用 宏 录 制 器 捕捉 筷 标 移动 和 单 击 时 要 小 心 。 程序 并 非 总 是 在 屏幕 上 的 同一 
位 置 启动 和 出 现 。 把 回放 位 置 设置 为 相对 于 程序 窗口 比 设置 为 屏幕 的 绝对 位 置 更 好 ， 
但 是 即便 如 此 ，GUI 的 一 丁点 变化 也 会 扰乱 捕捉 的 步 骤 。 


除了 这 些 限 制 之 外 ， 录 制 和 回放 宏 是 自动 执行 简单 测试 任务 的 流行 方式 ， 同时 也 是 测试 
员 学 习 如 何 让 测试 自动 化 的 好 的 起 点 。 


15.3.2 可 编程 的 宏 


可 编程 的 宏 是 在 简单 录制 和 回放 的 变化 上 的 一 大 进步 。 与 其 通过 录制 第 一 次 执行 测试 时 
的 操作 来 创建 可 编程 的 宏 ， 不 如 在 创建 时 编写 回放 系统 遵循 的 简单 指令 。 清 单 15-1 给 出 了 一 
个 非常 简单 的 宏 程序 (Macro Magic 设 置 向 导 创建 )。 此 类 宏 可 以 通过 从 菜单 中 选择 独立 的 操 
作 方 式 来 编程 一 甚至 不 必 输入 命令 。 


清单 15-1 在 Windows 计 算 器 程序 上 进行 测试 的 简单 宏 


: Calculator Test #2 

: <<EXECUTE:C:\WINDOWS\SYSTEM32\Calc .exe~~~~>> 
: <<LOOKFOR:Calculator~~SECS:5~~>> 

: 123-100= 

: <<PROMPT:The answer should be 23>> 

: <<CLOSE:Calculator>> 


ago 一 


第 1 行 是 标识 测试 任务 的 注释 行 。 第 2 行 执行 Windows 计 算 器 程序 Calce.exe。 第 3 行 最 多 用 
5 秒 钟 等 待 计算 器 启动 。 通过 暂停 等 待 标题 上 显示 Calculator 的 窗口 出 现 。 第 4 行 输入 123 100 
= 。 第 5 行 显示 信息 提示 答案 应 该 为 23 。 第 6 行 关闭 窗口 ， 结束 测试 。 

注意 ， 此 类 可 编程 的 宏 与 录制 的 宏 相 比 ， 具有 真正 的 优势 。 尽管 仍然 无 法 验证 测试 的 结果 ， 
但 是 它 可 以 暂停 执行 ， 向 测试 员 提 示 预 期 结 
果 ， 并 询问 测试 是 通过 还 是 失败 〈 见 图 15-8 )。 

可 编程 的 宏 还 可 以 解决 录制 宏 的 许多 时 
序 问 题 ， 不 是 依靠 绝对 延 时 ， 而 是 等 待 特定 。 
条 件 成 立 才 继续 执行 。 在 计算 器 例子 中 ， 宏 , | EE 
等待 程序 加 载 之 后 继续 进行 测试 一 -这 是 比 图 15-8 简单 编程 的 宏 不 能 验证 测试 结果 ， 但 是 可 以 

提示 测试 员 进行 确认 〈 图 片 摘自 Iolo- 

较 可 淮 的 方法 。 Technologies, 见 www.iolo.com ) 

到 目前 为 止 ， 一 切 顺 利 。 有 了 可 编程 的 
宏 ， 就 可 以 进军 自动 测试 了 。 现在 有 一 个 简单 的 宏 语 言 ， 驱动 软件 的 通用 命令 ， 以 及 提示 信 
息 的 方式 。 对 于 许多 测试 任务 ， 这 已 经 够 用 了 ， 按 这 种 方式 自动 测试 可 以 节省 大 量 时 间 。 

然而 ， 在 进行 复杂 测试 时 还 遗漏 了 两 个 重要 之 处 。 首先 ， 可 编程 的 宏 限 于 直接 执行 命令 . 
只 能 循环 和 重复 。 在 常规 编程 语言 中 可 以 见 到 的 变量 和 决策 语句 不 能 使 用 ， 而 且 没 有 
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自动 检查 测试 结果 的 能 力 。 因 此 ， 需 要 向 全 面 的 自动 测试 工具 发 展 。 
15.3.3 完全 可 编程 的 自动 测试 工具 


如 果 具 有 成 熟 编程 语言 的 能 力 ， 加 上 驱动 被 测试 软件 的 宏 命令 ， 以 及 进行 验证 的 能 力 ， 
结果 会 怎样 ? 就 可 以 得 到 从 根本 上 具备 查找 软件 缺陷 能 力 的 工具 ! 图 15-9 给 出 了 此 类 工具 的 
= 入 例 地 


ot OOND 6 
Fail “The rounding check box is not enabled " 


End If 
Scenario Cleenup 

IF Failed TEEN EndTest() 
End Scenario 


Scenario "2 Yerify that the caliculate button exists and ia enabled.* 
If Not YButtonExists (BTH_CALCULATE) Then 
Fail “The calculate button does not exist.* 
Elseif Not YButtonEnabled (BTN_CALCULATE) Then 
Fail “The calculate button is not enabled 
End If 
Scenario Cleanup 
IF Failed THEN EndTest() 








图 15-9 可 视 化 测试 ， 最 初 由 Microsoft 公 司 开发 ， 现 在 由 IBM 支 持 ， 是 在 一 个 软件 包 中 
提供 编程 环境 、 宏 命令 和 验证 能 力 的 工具 例子 


像 可 视 化 测试 程序 这 样 的 自动 测试 工具 为 软件 测试 员 创 建 强大 测试 提供 了 手段 。 许 多 工 
具 基 于 BASIC 编 程 语言 ， 即 使 非 程 序 员 也 可 以 轻松 地 编写 测试 代码 。 

如 果 想 输入 10 000 遍 字符 串 “Hello World! ”， 就 可 以 编写 如 下 所 示 的 几 行 代码 来 实现 : 

FOR i=1 TO 10000 

PLAY "Hello World!" 

NEXT I 

如 果 要 在 640 x 480 的 屏幕 上 把 鼠标 指针 从 左上 角 移 到 右 下 角 ， 然 后 双击 ， 就 可 以 编写 如 
下 语句 实现 : 

PLAY "{MOVETO 0,0}" 

PLAY "{MOVETO 640,480}" 

PLAY "{DBLCLICK}" 

测试 语言 还 可 以 提供 比 单纯 单 击 某 个 屏幕 区 域 或 者 发 送 单个 击 键 操作 更 好 的 控制 特性 。 
例如 ， 要 单 击 OK 按 钮 ， 可 以 使 用 以 下 命令 : 

wButtonClick ("OK") 

不 必 知 道 OK 按钮 在 屏幕 上 的 位 置 。 测 试 软件 可 以 找到 它 并 单 击 一 一 和 用 户 操作 一 样 。 类 
似 地 ， 还 有 菜单 、 复 选 框 、 单 选 按钮 和 列表 框 等 命令 。 此 类 命令 为 编写 测试 用 例 提供 了 极 大 
的 便利 ， 使 其 可 读 性 和 可 靠 性 更 好 。 这 些 自动 化 工具 具有 的 最 重要 特点 是 进行 验证 的 能 力 ， 
实际 上 就 是 检查 软件 是 否 以 预期 方式 运行 。 实 现 这 一 点 有 以 下 几 种 方式 : 
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。 屏幕 捕获 。 首 次 执行 自动 测试 时 ， 可 以 在 肯定 正确 的 关键 点 桶 提 并 保存 屏幕 图 像 。 在 以 
后 进行 测试 时 ， 自 动 化 工具 可 以 利用 保存 的 屏幕 画面 与 当前 屏幕 画面 进行 比较 。 如 果 两 
者 不 同 ， 就 说 明 出 现 意外 ， 自 动 化 工具 会 把 它 标 记 为 软件 缺陷 . 
注意 ， 使 用 屏幕 捕获 进行 测试 有 相当 大 量 的 工作 要 进行 维护 。 即 使 一 个 像素 点 的 变化 都 
会 导致 屏幕 比较 失败 。 除 非 软 件 的 用 户 接口 不 变化 ， 否 则 在 每 次 测试 时 进行 手工 捕获 和 比较 ， 
那 就 违反 了 自动 测试 的 目的 了 。 
。 控件 值 。 比 屏幕 捕获 更 进一步 ， 可 以 检查 软件 窗口 中 各 种 控件 的 值 。 如 果 测 试 计算 器 程 
序 ， 自 动 化 工具 就 会 从 显示 区 域 读 取 数 值 ， 与 预期 结果 进行 比较 。 还 可 以 判断 是 否 单 击 
了 按钮 或 者 选中 了 复 选 框 。 在 测试 程序 中 使 用 自动 化 工具 可 以 轻松 实现 这 一 点 。 
。 文件 和 其 他 输出 。 同 样 的 ， 如 果 软 件 把 数据 保存 在 文件 中 一 一 例如 文字 处 理 程序 一 一 自 
动 化 工具 就 能 在 建立 文件 之 后 将 其 读 出 ， 与 已 知 正确 的 文件 比较 。 该 技术 同样 适用 于 道 
过 调制 解 调 器 或 者 网 络 发 送 数据 的 被 测试 软件 。 自 动 化 工具 可 以 配置 为 读 回 数据 与 预期 
数据 进行 比较 。 
和 屏幕 捕获 一 样 ， 文 件 比较 也 有 问题 。 如 果 文 件 或 文件 格式 包含 日 期 、 计 数 器 或 其 他 变 
化 值 ， 文 件 比较 就 会 失败 。 这 时 需要 修改 自动 测试 工具 ， 忽 略 这 些 差 别 。 
验证 是 自动 测试 要 克服 的 最 后 一 个 大 难题 。 一 旦 具备 该 能 力 ， 就 可 以 对 绝 大 多 数 测试 用 
例 进行 验证 ， 以 更 加 容易 或 者 完全 自动 化 的 方式 执行 测试 用 例 。 
关于 市 面 上 流行 的 测试 自动 化 产品 的 更 多 信息 ， 请 访问 以 下 网 站 : 
e Software Development Technologies at www.sdtcorp.com 
® Mercury at www.mercury.com 
® Segue Software at Www.segue.com 
这 些 软件 包 对 于 个 人 使 用 可 能 有 点 昂贵 ， 因 为 它们 主要 针对 的 是 企业 的 测试 小 组 。 但 是 ， 
如 果 对 获得 它们 的 一 些 使 用 经 验 有 兴趣 ， 可 以 和 相应 的 公司 联系 ， 索 取 评 估 版 ， 假 如 你 是 学 
生 ， 可 以 申请 学 生 打 折 优 惠 。 大 多 数 软件 工具 公司 都 会 提供 帮助 ， 使 你 喜欢 它们 的 产品 ， 并 
最 终 推 荐 给 其 他 人 。 


15.4 随机 测试 : 猴子 和 大 猩猩 


到 目前 为 止 ， 我 们 学 习 的 测试 自动 化 工具 和 技术 主要 是 使 软件 测试 员 的 工作 更 加 轻松 和 
富有 成 效 。 其 设计 目标 是 帮助 测试 员 执行 测试 用 例 ， 或 者 在 理想 状态 下 ， 自 动 执行 测试 用 例 ， 
而 不 必 管 它 。 

出 于 该 目的 ， 使 用 工具 和 自动 化 有 助 于 找 出 软件 缺陷 ;在 工具 忙 着 进行 回归 和 测试 时 ， 软 
件 测试 员 就 有 更 多 时 间 计 划 新 的 测试 ， 设 计 新 奇 有 趣 的 用 例 。 然 而 ， 另 一 类 自动 测试 不 是 为 
帮助 执行 或 者 自动 执行 测试 用 例 而 设计 的 ， 其 目标 是 模拟 用 户 可 能 的 操作 。 此 类 自动 化 工具 
称 为 测试 猴子 (test monkey ) 。 

测试 猴子 的 说 法 来 源 于 一 个 想法 ， 如 果 让 一 百 万 只 获 子 在 一 百 万 只 键盘 上 项 一 百 万 年 ， 
从 统计 的 角度 讲 ， 它 们 最 终 就 可 能 写 出 莎士比亚 话剧 Adventures of Curious George (好 奇 乔治 
历险 记 ) 等 巨著 。 胡 乱 敲 键 可 能 无 意 间 碰 到 正确 的 字母 组 合 ， 这 样 猴子 瞬间 变 得 才华 横 溢 ， 
如 图 15-10 所 示 。 
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图 15-10 只 要 不 停电 ， 偶 尔 能 够 得 到 香蕉 ， 测 试 猴子 就 会 永远 测试 下 去 


当 软 件 公开 发 布 后 ， 可 能 会 有 成 千 上 万 的 人 使 用 。 除 非 尽 最 大 努力 设计 测试 用 例 ， 查 找 
缺陷 ， 否 则 有 些 软件 缺陷 就 会 漏 掉 ， 而 被 这 些 用 户 发 现 。 在 产品 发 布 之 前 ， 如 果 用 模拟 这 些 
用 户 可 能 的 操作 的 方式 来 补充 测试 用 例 ， 结 果 会 怎样 ? 这 就 有 可 能 发 现 以 其 他 测试 方式 会 漏 
掉 的 软件 缺陷 。 这 正 是 测试 猴子 做 的 工作 。 


注意 利用 测试 猴子 模拟 客户 使 用 软件 的 方式 没有 一 点 暗示 或 映射 计算 机 用 户 和 猿 猴 
有 关 的 意思 。 


15.4.1 笨拙 的 猴子 


最 简单 最 直接 的 测试 猴子 是 策 抽 的 猴子 。 策 拙 的 猴子 一 点 也 不 了 解 被 测试 软件 : 只 是 随 
机 地 单 击 鼠标 或 者 殴 击 按键 。 清 单 15-2 给 出 了 随机 单 击 鼠标 和 按键 10 000 次 的 可 视 化 测试 代码 
例子 。 


清单 15-2 只 需 几 行 代码 即 可 创建 笨拙 的 猴子 


: RANDOMIZE TIMER 

: FOR i=1 TO 10000 

: PLAY "{CLICK "+STR$(INT(RND*640))+", "+STR$ (INT (RND*480) )+" }" 
: PLAY CHR$ (RND*256) 

: NEXT i 


wD 


第 1 行 初始 化 随机 数 。 第 2 行 从 1 到 10 000 开 始 循环 。 第 3 行 从 屏幕 的 0，0 位 置 到 639 479 
(VGA 分 辩 率 ) 位 置 随机 选择 一 个 屏幕 点 单 击 。 第 4 行 从 0 到 255 随 机 挑选 一 个 字符 输入 。 

PC 机 上 上 运行 的 软件 不 知道 上 面 这 个 程序 与 真人 操作 之 间 的 区 别 一 一 除了 程序 的 运行 速度 - 
非常 快 之 外 。 该 程序 在 正常 速度 的 PC 机 上 运行 只 需 几 秒 钟 。 可 以 想像 一 下 如 果 通 宵 运行 该 程 
序 ， 将 会 得 到 多 少 随机 输入 ! 

记 住 ， 策 拙 的 猴子 绝对 不 会 进行 验证 。 它 只 是 单 击 鼠标 和 融 击 按键 ， 直 至 两 件 事件 之 一 
发 生 一 一 或 者 完成 循环 ， 或 者 软件 、 操 作 系统 骨 溃 。 如 果 被 测试 的 软件 崩溃 ， 笨 拙 的 猴子 并 
不 会 知道 ， 它 还 会 继续 地 单 击 鼠 标 和 敲 击 按键 。 
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注意 如果 不 相信 策 拙 的 猴子 可 能 会 发 现 严 重 缺陷 ， 就 试 试 在 平时 喜爱 的 计算 机 游戏 
或 者 多 媒体 程序 上 执行 策 抽 的 猴子 。 这 些 程序 极 有 可 能 支持 不 了 几 个 小 时 就 会 衣 清 。 


只 依靠 单 击 鼠 标 和 鼓 击 按键 来 发 现 软件 缺陷 也 许 没有 什么 意义 ， 但 是 这 样 做 有 如 下 两 个 
原因 : 

e。 如 果 有 足够 的 时 间 和 精力 ， 就 像 狼 子 写 莎 士 比 亚 名 著 一 样 ， 随 机 输入 最 终 可 能 打出 程序 
员 和 测试 员 没 有 想到 的 奇特 序列 。 也 许 猴 子 输入 了 一 些 数据 马上 又 删除 了 ， 或 者 在 该 输 
人 入 短 字符 串 的 地 方 输入 了 长 字符 串 。 谁 会 想到 呢 ? 但 是 猴子 能 找到 。 
。 不 停 重复 和 使 用 笨拙 的 猴子 可 能 会 暴露 内 存 泄漏 等 软件 缺陷 ， 这 类 缺陷 要 在 正常 使 用 软 
件数 小 时 或 者 数 天 之 后 才能 出 现 。 如 果 用 过 随 着 使 用 时 间 长 变 得 越 来 越 不 稳定 的 软件 ， 
就 见 到 了 利用 笨拙 的 猴子 发 现 的 问题 。 


15.4.2 半 聪 明 的 猴子 


笨拙 的 猴子 可 能 特别 有 效 ， 它 们 易于 编写 ， 可 能 会 发 现 导致 崩 注 的 严重 缺陷 。 然 而 ， 它 
们 缺乏 一 些 使 其 更 加 有 效 的 重要 特性 。 增 加 这 些 特 性 来 提高 猴子 的 智商 ， 使 其 成 为 半 聪 明 的 
猴子 。 

假设 测试 猴子 运行 了 几 个 小 时 ， 在 软件 崩溃 之 前 记录 了 成 千 上 万 种 随机 输入 。 软 件 测 试 
员 可 能 知道 其 中 有 问题 ， 但 是 无 法 向 程序 员 说 清楚 如 何 重 现 它 。 可 以 用 同样 的 随机 序列 重新 
运行 猴子 ， 但 是 如 果 花 了 几 个 小 时 又 使 软件 失败 了 ， 就 只 是 在 浪费 宝贵 的 时 间 。 解 决 方法 是 
在 测试 猴子 中 增加 日 志 ， 将 测试 猴子 所 有 的 操作 记录 到 一 个 文件 中 。 当 测 试 狼 子 发 现 软件 缺 
陷 时 ， 只 需 查看 日 志文 件 ， 找 出 在 失败 之 前 做 了 些 什么 。 


技巧 ”另外 一 个 解决 跟踪 测试 猴子 行为 的 办 法 是 用 摄像 机 录 下 屏幕 上 的 内 容 。 当 发 现 
软件 出 现 故 障 时 ， 就 倒 回 去 重新 看 看 。 


编写 猴子 程序 ， 只 在 被 测试 的 软件 上 运行 也 是 一 个 好 想法 。 如 果 猴 子 程序 在 屏幕 上 到 处 
随机 单 击 ， 就 会 (最 终 会) 单 击 到 退出 命令 终止 程序 。 由 于 猴子 不 知道 程序 关闭 了 ， 因 此 它 
还 会 继续 运行 。 想 一 想 如 果 猴 子 在 计算 机 屏幕 上 到 处 单 击 ， 结 果 会 怎么 样 一 - 哦 ! 大 多 数 可 
编程 自动 化 工具 提供 了 一 种 方式 ， 使 测试 总 是 针对 某 个 特定 应 用 程序 ， 或 者 在 应 用 程序 关闭 
了 停止 工作 。 

使 猴子 变 聪明 的 另 一 个 优点 是 骨 省 辨认 能 力 。 如 果 启 动 猴子 程序 ， 通 夜 运行 ， 但 测试 员 
一 走出 房间 它 就 发 现 了 一 个 软件 缺陷 ， 就 会 浪费 很 多 宝贵 的 测试 时 间 。 如 果 为 猴子 编写 新 功 
能 ， 使 其 能 识别 发 生 了 崩溃 ， 并 重新 启动 计算 机 ， 然 后 重新 开始 测试 ， 每 晚 就 可 能 多 找 出 几 
个 软件 缺陷 。 


15.4.3 聪明 的 猴子 


半 陪 明 的 猴子 再 继续 进化 就 成 为 聪明 猴子 。 这样 的 儿子 从 它 不 名 聪明 的 兄弟 那里 获得 随 
机 测试 的 结果 ， 并 增加 了 对 环境 的 认 知 能 力 。 它 不 单单 随机 乱 敲 键盘 一 一 而 是 有 目的 地 敲 。 

真正 聪明 的 猴子 知道 : 

。 它 在 哪里 

。 在 那里 能 干什么 
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。 它 能 到 哪里 

。 它 曾 经 在 哪里 

e 所 见 到 的 是 否 正 确 

这 个 清单 是 否 有 点 熟悉 ?是 的 。 聪 明 猴子 会 阅读 软件 的 状态 转换 图 一 一 第 5 章 “ 带 上 有 眼 曾 
测试 软件 ”所 讲述 的 那 种 图 。 如 果 猴 子 可 以 看 懂 描 述 软件 的 全 部 状态 信息 ， 它 就 可 以 像 用 户 
那样 试用 软件 ， 只 是 使 用 速度 更 快 ， 而 且 可 以 验证 遇 到 的 情况 。 

聪明 猴子 测试 Windows 计算 器 ( 见 图 15-11) 能 知道 有 哪些 按钮 可 以 单 击 ， 存 在 哪些 菜单 
项 ， 在 哪里 输入 数字 。 如 果 它 单 击 Help 菜 单 的 About Calculator 选 项 ， 就 知道 唯一 的 退出 方法 
是 单 击 OK 按钮 或 者 Close 按 钮 。 它 不 会 在 屏幕 上 到 处 随机 单 击 ， 最 终 意 外 命中 目标 。 


关闭 按钮 


交 同 户 





OK 按钮 
图 15-11 聪明 猴子 应 该 知道 如 何 关 闭 About Calculator 对 话 框 


聪明 猴子 也 不 仅 限于 查找 崩溃 缺陷 。 它 同时 时 查看 数据 、 检 查 操作 结果 、 找 出 其 与 预期 
结果 的 差别 。 如 果 在 测试 用 例 中 编程 设计 聪明 猴子 ， 它 可 以 随机 执行 、 查 找 软件 缺陷 、 记 录 
结果 。 太 酷 了 ! 

图 15-12 显 示 了 一 个 叫 Koko 的 聪明 猴子 ， 名 字 来 源 于 会 说 符号 语言 的 猿 猴 。 要 想 编程 设计 
Koko， 就 得 提供 通过 定义 所 有 状态 来 描述 软件 的 状态 表 、 该 状态 中 可 以 执行 的 操作 ， 以 及 决 
定 操作 执行 结果 是 否 正确 的 声明 。 






KooGAwyimip 


图 15-12 聪明 猴子 Koko 可 以 编写 成 知道 自己 在 哪里 ， 可 以 干什么 
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当 Koko 运 行 时 ， 它 驱动 软件 到 已 知 状态 ， 根 据 模拟 实际 情形 的 权衡 结果 ， 随 机 选择 一 个 
操作 ， 执 行 读 操 作 ， 然 后 检查 结果 。 如 果 该 操作 导致 软件 改变 状态 ，Koko 就 会 知道 ， 并 使 用 
适用 于 新 状态 的 一 组 新 操作 。 

有 了 这 样 的 系统 ， 就 可 以 模拟 软件 的 实际 使 用 ， 把 数 千 个 小 时 的 使 用 时 间 压 缩 为 几 个 小 
时 。 聪 明 猴 子 是 真正 的 寻找 缺陷 机 器 ! 


注意 Koko 是 作者 开发 的 一 个 适度 聪明 的 猴子 ， 并 不 用 于 商业 应 用 。 


15.5 使 用 测试 工具 和 自动 化 的 实质 


在 满怀 喜悦 地 准备 开始 在 测试 中 使 用 测试 工具 和 自动 化 之 前 ， 需 要 阅读 本 节 并 记 在 心里 。 
测试 自动 化 不 是 万 能 的 。 如 果 正 确 规划 和 执行 的 话 ， 工 具 和 自动 化 可 以 使 测试 效率 大 大 提高 
并 且 能 发 现 其 他 方式 不 能 发 现 的 缺陷 。 然 而 ， 如 果 自 动 化 和 工具 步 人 歧途 ， 会 导致 无 数 的 自 
动 化 测试 的 努力 被 放弃 ， 并 且 使 项 目 成 本 大 大 增加 。 

在 开始 使 用 本 章 所 述 的 技术 之 前 ， 应 该 对 以 下 这 些 重 要 的 问题 加 以 考虑 : 

。 软件 变更 。 产 品 说 明 书 从 未 修复 过 。 后 期 增加 了 新 特性 。 产 品名 称 在 最 后 一 刻 被 更 改 。 

如 果 录 制 了 数 千 个 宏 执行 全 部 测试 ， 而 在 产品 发 布 的 前 一 周 ， 软 件 改 为 启动 时 多 显示 一 

屏 ， 结 果 会 怎样 ? 所 有 录制 的 宏 都 将 运行 失败 ， 因 为 它们 不 知道 多 出 一 屏 。 这 时 ， 需 要 

编写 的 自动 化 程序 具备 灵活 性 ， 在 需要 时 能 够 方便 快捷 地 改变 。 

。 人 了 眼 和 直觉 是 不 可 替代 的 。 编 出 来 的 聪明 狼 子 的 聪明 有 限 。 它 们 只 能 执行 人 交 给 它们 的 

测试 。 它 们 永远 不 可 能 看 到 什么 说 : “ 呀 ， 这 很 有 趣 。 我 还 要 做 更 多 检查 ”一 一 至 少 目 

前 不 会 。 

。 验证 难以 实现 。 如 果 测 试用 户 界面 ， 验 证 测试 结果 最 简单 、 最 显然 的 方法 是 捕捉 和 比较 

屏幕 画面 . 但 是 , 屏幕 画面 是 大 型 文件 , 而 且 这 些 屏幕 画面 在 产品 开发 过 程 中 不 断 变化 。 

要 保证 测试 工具 只 检查 需要 的 画面 ， 而 且 能 够 在 产品 开发 过 程 中 高 效 处 理 变化 。 

。 容易 过 分 依赖 自动 化 。 永 远 不 要 因为 执行 了 全 部 自动 化 测试 没有 发 现 软件 缺陷 ， 就 认为 

没有 软件 缺陷 要 找 了 。 软 件 缺 陷 仍 然 有 ， 这 是 杀 虫 剂 怪 现象 。 

。 不 要 花费 太 多 时 间 使 用 达 不 到 测试 软件 目的 的 测试 工具 和 自动 化 。 开 始 编写 宏和 聪明 多 

子 虽 然 轻 松 愉快 ， 但 这 不 是 测试 。 这 些 工具 有 助 于 提高 效率 ， 但 是 需要 在 软件 运行 时 使 

用 它们 ， 并 进行 实际 的 测试 ， 才 能 找 出 软件 缺陷 。 

。 编 写 安 、 开 发 工具 和 编制 猴子 都 属于 开发 工作 。 软 件 测 试 员 应 该 遵守 要 求 程序 员 遵 守 的 

标准 和 规范 。 仅 仅 因 为 你 是 测试 员 不 意味 着 可 以 破坏 规则 。 

。 某 些 工 具 是 和 人 侵 式 的 ， 可 能 导致 被 测试 的 软件 不 正常 地 失败 。 如 果 使 用 工具 发 现 了 一 个 

软件 缺陷 ， 要 设法 在 不 使 用 该 工具 的 情况 下 重 现 这 个 软件 缺陷 。 结 论 可 能 是 一 个 简单 的 

可 重 现 的 软件 缺陷 ， 也 可 能 是 工具 引起 的 问题 。 


15.6 小 结 


软件 测试 工具 和 自动 化 可 以 用 于 任何 软件 类 型 的 测试 。 本 章 所 示 的 大 多 数 示例 是 关于 图 
形 用 户 界 面 的 测试 的 ， 但 是 同样 的 技术 可 以 运用 到 编译 器 、 网 络 和 Web 服 务 器 的 测试 中 。 好 
好 想 一 想 需要 执行 的 测试 任务 ， 如 何 利用 软件 使 其 更 加 容易 和 快速 实现 一 一 这 正 是 自动 化 的 
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领域 。 - 

人 们 有 时 徒手 干 ， 有 时 使 用 苍蝇 拍 ， 有 时 (也 许 不 太 雅 观 ) 使 用 锤子 。 清 楚 何 时 使 用 工 
有 具 和 使 用 哪 一 种 工具 是 软件 测试 员 的 重要 技能 。 创 建 、 使 用 测试 工具 和 测试 自动 化 是 有 趣 的 
工作 。 看 到 计算 机 自己 在 运行 、 光 标 来 回 内 烁 、 字 符 自动 输入 的 感觉 很 酷 。 当 你 躺 在 床上 ，， 
或 者 出 去 喝 一 杯 时 ， 自 动 化 工具 咏 野 地 工作 ， 查 找 软件 缺陷 ， 你 会 感到 相当 地 满意 。 


15.7 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答案 参见 附录 A 一 一 但 是 不 要 偷 看 ! 
1. 说 出 使 用 软件 测试 工具 和 自动 化 的 一 些 好 处 。 

2. 在 决定 使 用 软件 测试 工具 和 自动 化 时 ， 要 考虑 哪些 缺点 或 者 注意 事项 ? 
3. 工 具 和 自动 化 之 间 有 何 差别 ? 

4. 查看 工具 和 注入 工具 有 何 异 同 ? 

5. 判断 是 非 : 入 侵 式 工具 是 最 佳 类 型 ， 因 为 其 操作 与 测试 的 软件 最 贴近 。 
6. 最 简单 但 很 有 效 的 测试 自动 化 类 型 是 什么 ? 

7. 说 出 可 以 增加 到 问题 6 中 所 述 的 测试 自动 化 中 ， 使 其 更 有 效 的 一 些 特性 。 
8. 聪明 猴子 比 宏 和 笨拙 的 猴子 有 什么 优点 ? 


第 16 章 
缺陷 胡 炸 和 beta 测 试 


第 15 章 “自动 测试 和 测试 工具 ”讲述 了 采用 工具 和 自动 化 形式 的 技术 如 何 帮 助 测试 员 提 
高 效率 。 利 用 软件 测试 软件 是 加 快 工作 进展 的 绝 佳 方 式 ， 有 助 于 找 出 其 他 方式 可 能 遗漏 的 软 
件 缺陷 。 

成 为 高 效 测试 员 的 另 一 条 途径 是 借助 他 人 的 力量 。 如 果 能 让 更 多 的 人 在 软件 发 布 之 前 查 
看 软件 ， 即 使 他 们 不 是 专业 测试 员 ， 也 能 够 找 出 专业 测试 员 看 不 到 的 软件 缺陷 。 

本 章 重点 包括 : 

。 让 他 人 测试 为 什么 重要 

。 如 何 使 他 人 查看 自己 的 软件 

。 beta 测 试 是 什么 ， 测 试 员 如 何 参与 

。 如 何 有 效 外 包 测 试 工作 


16.1 让 别人 测试 你 的 软件 


图 16-1 给 出 了 两 个 基本 相同 的 场景 视图 。 拿 出 秒表 ， 定 时 1 分 钟 ， 仔 细 检 查 两 幅 图 片 ， 找 
出 两 者 之 间 的 差别 。 按 照 找 到 的 顺序 列 出 差别 清单 。 





图 16-1 在 1 分 钟 之 内 ， 尽 量 找 出 两 幅 场景 的 差别 (图 片 取材 于 www.cartoonworks.com ) 


观察 结束 后 ， 请 几 位 朋友 也 找 一 找 ， 与 自己 的 清单 比较 。 你 会 发 现 每 个 人 得 出 的 结果 相 
差 很 大 。 他 们 找到 差别 的 数量 不 同 ， 发 现 的 顺序 不 同 ， 其 至 找到 的 差别 也 不 同 。 期 望 的 效果 
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是 ， 如 果 合并 所 有 清单 ， 舍 弈 重复 的 ， 可 望 得 到 全 部 差别 的 完整 清单 一 -但 是 ， 既 便 如 此 ， 
仍然 可 能 漏 掉 一 些 。 

软件 测试 也 是 如 此 。 也 许 一 个 软件 测试 员 严格 遵守 进度 安排 ， 在 有 限 的 时 间 内 尽 可 能 多 
地 找 出 软件 缺陷 。 但 是 另 一 个 测试 员 可 能 加 入 进来 ， 测 试 同 样 的 代码 ， 找 出 另外 的 软件 缺陷 。 
此 情 此 景 令 人 泄气 。 经 过 努力 工作 之 后 ， 会 这 样 想 : “我 怎么 会 遗漏 这 么 明显 的 软件 缺陷 昵 ?” 
不 要 担心 ， 这 是 正常 的 。 对 此 有 以 下 原因 和 对 策 : 

。 让 其 他 人 检查 软件 有 助 于 打破 杀 虫 旗 怪 现象 。 如 图 16-1 所 示 , 不 同 的 人 注意 不 同 的 事物 。 

从 你 的 角度 看 总 是 发 现 不 了 的 软件 缺陷 可 以 被 项 目 小 组 的 其 他 人 一 眼看 出 。 这 就 像 

“皇帝 的 新 衣 ” 寅 言 。 

。 类 似 地 ， 人 们 互相 之 间 不 仅 看 到 的 不 同 ， 而 且 测试 方法 也 不 同 。 任 赁 你 投入 多 大 的 努力 

审查 软件 说 明 书 ， 确 定 测试 用 例 ， 新 来 的 人 利用 你 想不到 的 方法 仍然 可 能 找到 软件 缺 

陷 一 - 按 不 同 的 键 ， 更 快 地 单 击 鼠标 ， 以 其 他 方式 启动 功能 等 。 这 又 是 杀 虫 剂 怪 现象 。 

。 让 别人 帮忙 测试 有 助 于 消除 烦躁 心情 。 反 复 使 用 同样 的 软件 特性 ， 不 断 地 反复 执行 同样 

的 测试 ， 会 使 测试 工作 变 得 相当 单调 ， 烦 踩 情绪 还 会 令 人 注意 力 澳 散 ， 开 始 遗 漏 明显 的 

软件 缺陷 。 

。 观察 别人 解决 问题 的 方式 是 学 习 新 测试 技术 的 上 佳 方法 。 总 有 不 同 的 新 测试 方法 可 以 收 

入 秦 中 。 

人 们 很 容易 落 入 希望 自己 单独 负责 测试 软件 的 陷阱 中 ， 不 要 这 样 做 . 借助 他 人 帮助 会 有 
很 多 收获 。 


16.2 测试 共享 


可 能 的 话 ， 除 非 软件 项 目 特别 小 ， 否 则 至 少 有 儿 个 测试 员 来 测试 软件 。 即 使 只 有 几 个 人 ， 
也 可 以 多 让 几 个 人 来 查找 缺陷 。 

一 个 常用 方法 是 在 一 定时 间 内 简单 互 换 测试 任务 ， 可 以 理解 为 “你 执行 我 的 测试 ， 我 执 
行 你 的 测试 "。 双 方 都 得 以 独立 查看 软件 ， 同 时 完成 基本 测试 任务 。 双 方 还 会 了 解 自 己 不 熟悉 
的 软件 领域 一 一 从 而 可 能 会 想 出 其 他 的 测试 用 例 来 测试 。 至 少 可 以 让 他 人 花 时 间 审 查 等 价 划 
分 和 测试 用 例 。 他 们 可 以 根据 自身 经 验 为 测试 提供 新 的 或 不 同 的 思路 。 

共享 测试 任务 的 有 趣 方法 是 安排 献 陷 表 炸 (bug bash)。 缺 陷 友 炸 是 在 一 段 时 间 (一 般 为 
几 个 小 时 ) 内 整个 测试 小 组 停 下 指定 的 常规 测试 任务 ， 参 加 友 炸 。 在 缺陷 释 炸 中 ， 选 择 软件 
中 某 一 区 域 ， 所 有 测试 员 集 中 测试 这 个 区 域 或 者 这 组 特性 。 选 择 区 域 可 能 是 软件 缺陷 聚集 之 
处 ， 看 是 否 还 有 更 多 潜伏 的 问题 ; 也 可 能 是 怀疑 不 存在 软件 缺陷 的 区 域 。 利 用 缺陷 邦 炸 可 以 
确定 普通 测试 是 否 会 遗漏 软件 缺陷 ， 代 码 编号 质量 如 何 。 选 择 区 域 虽然 有 不 少 内 在 规则 ， 但 
是 最 终 要 用 缺陷 友 炸 让 许多 人 从 特定 的 软件 区 域 寻找 软件 缺陷 。 

请 求 协助 寻找 软件 缺陷 的 最 佳 伙伴 是 产品 支持 或 者 客户 服务 小 组 一 一 他 们 在 客户 打 电 话 或 
者 通过 电子 邮件 咨询 问题 时 与 客户 交谈 。 这 些 人 显然 对 软件 缺陷 非常 敏感 ， 是 用 来 协助 你 测 
试 的 一 个 巨大 资源 。 找 到 产品 发 布 后 提供 支持 的 人 ， 请 他 们 参加 测试 共享 活动 。 他 们 帮忙 找 
到 的 软件 缺陷 会 出 人 意料 。 

注意 “产品 支持 人 员 接 到 的 最 常见 求援 电话 可 能 是 易 用 性 问题 。 许 多 打 来 电话 的 人 只 

是 想 知道 软件 怎样 使 用 。 因 此 较 好 的 做 法 是 让 产品 支持 小 组 在 设计 早期 协助 测试 ， 以 

指出 和 修复 易 用 性 软件 缺陷 。 | 
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16.3 beta 测 试 


这 里 所 述 的 测试 共享 想法 已 经 成 为 内 部 方法 ， 也 就 是 说 ， 协 助 共享 测试 的 人 要 么 来 自 测 
试 小 组 ， 要 么 来 自 产品 开发 小 组 。 另 一 种 让 他 人 验证 和 确认 软件 的 常用 过 程 称 为 beta 测 试 
(beta testing ) 

beta 测 试 是 用 于 描述 外 部 测试 过 程 的 术语 。 在 该 过 程 中 ， 软 件 分 发 给 选 定 的 潜在 客户 群 ， 
让 他 们 在 实际 环境 中 使 用 软件 。beta 测 试 一 般 在 产品 开发 周期 行将 结束 时 进行 ， 理 想 情形 下 只 
是 确认 软件 准备 向 实际 客户 发 布 。 

beta 测 试 的 目标 可 能 很 广泛 ， 从 让 新 闻 媒 体 报道 软件 初期 使 用 印象 到 用 户 界 面 确认 到 最 后 
一 步 寻 找 软件 缺陷 。 软 件 测试 员 要 让 管理 beta 测 试 的 人 知道 beta 测 试 的 目标 。 

从 测试 角度 看 ， 在 计划 或 者 依赖 beta 测 试 时 ， 有 几 个 问题 需要 考虑 : 

。 谁 是 beta 测 试 者 ?” 由 于 beta 测 试 可 能 有 不 同 的 目标 ， 因 此 有 必要 了 解 谁 参加 beta 测 试 。 

例如 ， 测 试 员 也 许 想 要 指出 软件 中 残留 的 易 用 性 缺陷 ， 但 是 beta 测 试 者 可 能 全 是 有 经 验 
的 技术 人 员 ， 更 关心 底层 操作 ， 而 不 是 易 用 性 。 如 果 测 试 员 测试 的 软件 部 分 要 进行 beta 
测试 ， 一 定 要 在 过 程 中 指定 所 需 的 beta 测 试 者 类 型 ， 以 便 从 中 获得 最 大 收获 。 

。 同样 ， 怎 样 知 道 beta 测 试 者 使 用 过 软件 昵 ? 如果 1000 个 beta 测 试 者 拿 到 软件 一 个 月 后 ， 
报告 没有 发 现 问题 ， 那 么 是 没有 软件 缺陷 ， 还 是 看 到 软件 缺陷 却 设 有 报告 ， 还 是 邮寄 的 
磁盘 丢失 了 呢 ? beta 测 试 者 先 把 软件 放 上 几 天 才 开 始 试用 的 现象 并 不 少见 ， 当 他 们 开始 
试用 时 ， 使 用 时 间 和 特性 都 很 有 限 。 执 行 beta 程 序 的 测试 员 或 者 其 他 人 一 定 要 跟踪 参加 
beta 测 试 者 ， 以 保证 他 们 在 使 用 软件 并 符合 计划 的 目标 。 

es beta 测 试 可 以 成 为 寻找 配置 和 兼容 性 软件 缺陷 的 好 方法 。 如 第 8 章 “ 配 置 测 试 ” 和 第 9 章 
“兼容 性 测试 ”中 所 述 ， 明 确 和 测试 能 代表 所 有 实际 硬件 和 软件 设置 的 典型 样本 是 非常 
困难 的 。 如 果 beta 测 试 者 挑选 得 明智 ， 能 够 代表 目标 客户 ， 他 们 就 会 帮 大 忙 ， 找 出 配置 
和 兼容 性 软件 缺陷 。 

。 易 用 性 测试 是 beta 测 试 能 有 所 作为 的 另 一 个 领域 。 条 件 是 精心 挑选 参加 者 一 -有 经 验 的 
用 户 和 无 经 验 的 用 户 的 完美 结合 。 他 们 第 一 次 看 到 软件 ， 将 会 轻松 地 找 出 不 清楚 或 者 难 
于 使 用 之 处 。 | | 

。 撤 开 配置 、 兼 容 性 和 易 用 性 ，beta 测 试 在 寻找 软件 缺陷 方面 竟然 出 人 意外 地 差 。 由 于 参 

加 者 一 般 没 有 足够 的 时 间 使 用 软件 ， 因 此 他 们 只 能 找 出 明显 的 大 问题 一 一 测试 员 可 能 已 
.经 知道 的 。 此 外 ， 因 为 beta 测 试 一 般 在 开发 周期 行将 结束 时 进行 ， 所 以 没有 太 多 时 间 修 
复 找到 的 软件 缺陷 。 


注意 试图 依靠 beta 测 试 来 代替 实际 测试 是 软件 产品 开发 的 主要 误区 之 一 ， 不 要 这 样 
做 ! 如 果 这 样 做 可 行 ， 为 什么 软件 设计 和 编程 不 这 样 做 呢 ? 


。Beta 测 试 程序 会 耗费 测试 员 大 量 时 间 ， 测 试 新 手 的 常见 任务 是 与 beta 客 户 一 起 ， 帮 助 解 
决 他 们 的 问题 ,回答 提 问 ， 确 认 他 们 找到 的 软件 缺陷 。 如 果 受 命 执 行 访 任务， 还 需要 和 
其 他 测试 员 合作 ， 以 了 解 软件 缺陷 是 怎样 溜 到 beta 测 试 者 那里 的 ， 以 及 如 何 改善 测试 用 
例 ， 使 得 软件 缺陷 将 来 能 够 在 内 部 发 现 。 所 有 这 些 可 能 是 满 负荷 的 工作 ， 留 给 自己 亲自 
做 实际 测试 的 时 间 儿 乎 没有 。 

如 果 软 件 测 试 员 和 测试 小 组 计划 拥有 一 个 peta 测 试 程序 ， 就 要 提前 做 安排 ， 最 好 在 定义 产 
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品 进度 的 时 候 。 一 定 要 使 beta 测 试 的 目标 与 预期 目标 吻合 ， 而 且 要 和 管理 beta 程 序 的 人 【或 者 
小 组 ) 紧密 合作 ， 使 测试 的 结果 为 人 所 知 。 

从 是 实 ， beta 测 试 是 使 独立 .翔实 的 测试 数据 回归 软件 的 好 方法 ， 但 是 必须 正确 定义 和 管 
儿 乎 可 以 说 这 也 需要 测试 。 


16.4 ”外包 测试 


许多 公司 采用 的 一 种 常用 做 法 是 向 擅长 各 方面 软件 测试 的 其 他 公司 外 包 或 提交 部 分 测试 
工作 。 虽 然 这 看 上 去 比 由 产品 小 组 的 测试 员 来 完成 要 更 麻烦 、 更 昂贵 ， 但 是 如 果 做 得 好 ， 这 
可 能 成 为 共享 测试 的 有 效 途径 。 

配置 和 兼容 性 测试 通常 是 外 包 测 试 的 理想 选择 。 这 些 测试 一 般 需 要 拥有 众多 不 同 硬件 和 
软件 组 合 的 大 型 测试 实验 室 ， 以 及 一 些 人 员 来 管理 。 大 多 数 小 型 软件 公司 无 法 承受 维护 这 些 
测试 实验 室 的 开销 ， 因 此 ， 向 专门 从 事 配置 和 兼容 性 测试 业务 的 公司 外 包 测试 很 有 意义 。 

本 地 化 测试 是 另 一 个 通常 被 外 包 测 试 的 例子 ， 除 非 拥 有 相当 庞大 的 测试 小 组 ， 否 则 配备 
能 懂 产 品 支持 的 各 种 语言 的 测试 员 是 不 可 能 的 。 小 组 中 拥有 一 批 讲 外 语 的 测试 员 来 查找 基本 
的 本 地 化 问题 虽然 很 有 好 处 ， 但 是 外 包 特 定语 言 的 测试 可 能 更 加 有 效 。 专 门 从 事 本 地 化 测试 
的 公司 拥有 能 讲 各 种 语言 ， 而 且 具 备 测试 经 验 的 测试 员 。 

作为 测试 新 手 ， 虽然 不 要 求 决定 外 包 哪些 测试 任务 ,但 是 如 果 外 包 的 测试 是 你 负责 测试 
的 软件 部 分 ， 你 就 需要 与 外 包公 司 一 起 工作 。 外 包 任 务 的 成 败 很 大 程度 上 取决 于 软件 测试 员 。 
以 下 是 有 助 于 使 任务 执行 更 顺利 需要 考虑 ， 并 与 测试 经 理 或 者 项 目 经 理 探 讨 的 间 题 : 

。 测试 公司 究竟 要 执行 哪些 测试 任务 ? 谁 来 定义 ? 谁 来 批准 ? 

。 他 们 遵守 哪个 进度 ? 谁 来 制定 进度 ? 如 果 超过 最 后 期 限 会 怎样 ? 

。 为 测试 公司 提供 哪些 内 容 ? 例 如 软件 说 明 书 、 阶 段 性 软件 更 新 以 及 测试 用 例 。 

。 测试 公司 提供 哪些 内 容 ? 至 少 要 提供 他 们 找 出 的 软件 缺陷 。 

。 如 何 与 测试 公司 联系 ? 是 电话 、 电 子 邮 件 、 因 特 网 、 中 心 数 据 库 ， 还 是 每 天 登门 造访 ， 

谁 是 两 边 的 联络 点 ? 

。 怎样 知道 测试 公司 是 否 满 足 期 望 ?¥ 他 们 怎样 知道 是 否 满足 期 望 ? 

这 些 不 是 严格 的 科学 课题 ， 但 是 在 匆忙 外 包 测试 任务 时 常常 被 忽视 。 把 软件 扔 过 去 要 测 
试 公司 “测试 它 ” 是 一 种 老 毛 病 。 然 而 ， 花 一 些 时 间 提 前 计划 能 使 外 包 成 为 非常 有 效 的 测试 
手段 ， 否 则 由 于 资源 限制 无 法 处 理 测 试 。 | | 


16.5 小 结 





本 章 和 第 15 章 得 出 的 结论 是 应 该 学 会 使 用 任何 方式 使 测试 更 加 有 效 。 一 种 情况 可 能 决定 
使 用 技术 ， 另 一 种 可 能 要 求 增加 人 手 ， 还 有 一 种 可 能 只 需要 靠 蛮 力 手工 测试 。 每 一 个 软件 测 
试问 题 都 是 唯一 的 ， 每 次 测试 都 能 够 学 到 新 知识 。 试 验 、 尝 试 不 同方 法 ， 看 其 他 人 怎么 做 ， 
不 断 努力 找到 使 测试 更 具 成 效 、 更 好 地 找 出 软件 缺陷 的 最 佳 方式 。 

本 章 围绕 着 全 书 如 何 进行 软件 测试 的 主题 展开 ， 它 是 有 趣 的 事 。 我 们 已 经 了 解 了 软件 开 
发 的 过 程 、 软 件 测试 的 基本 技术 、 如 何 运用 技巧 、 如 何 进行 加 强 等 。 第 五 部 分 “使 用 测试 文 
档 ” 将 讲述 如 何 把 目前 所 学 的 知识 融合 起 来 : 如 何 计划 和 组 织 测 试 任务 、 如 何 正 确 记录 跟踪 
发 现 的 缺陷 ， 如 何 保证 软件 缺陷 被 修复 。 
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16.6 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参见 附录 A 一 一 但 是 不 要 偷 看 ! 
1. 描述 杀 虫 剂 怪 现象 ， 如 何 找到 新 人 查看 软件 来 解决 它 ? 

2. 对 软件 进行 beta 测 试 程序 有 哪些 正面 作用 ? 

3. 对 于 beta 测 试 程序 有 哪些 注意 事项 ? 

4. 如 果 正 在 为 小 型 软件 公司 测试 ， 为 什么 外 包 配 置 测试 是 个 好 主意 ? 





第 五 部 分 
使 用 测试 文档 


仅仅 尽 最 大 努力 是 不 够 的 。 你 必须 知道 要 做 什么 ， 然 后 再 尽 最 大 努力 。 


一 一 爱德华 . 戴 明 (W. Edward Deming) 博士 ， 统 计 和 质量 控制 专家 


没有 记录 就 不 能 断定 什么 事件 确实 发 生 过 。 
_ 兹 吉庆 亚 ， 伍 尔 美 (Virginia Woolf)， 英 国 小 说 家 、 杂 文 家 和 批评 家 
本 部 分 内 容 : 
第 17 章 计划 测试 工作 
第 18 章 编写 和 眼 踪 测试 用 例 


第 19 章 报告 发 现 的 问题 
第 20 章 成 效 评价 





第 17 章 
计划 测试 工作 


本 章 是 第 五 部 分 “使 用 测试 文档 ”的 开始 。 到 目前 为 止 ， 本 书 已 给 出 了 软件 测试 的 概 魏 ， 
并 且 寻 找 软件 缺陷 的 基础 也 讲述 过 了 一 一 到 哪里 去 找 、 如 何 测试 、 如 何 有 效 地 测试 。 第 五 部 
分 各 章 将 把 这 些 知识 联系 起 来 ， 说 明和 软件 测试 有 关 的 所 有 工作 是 如 何 计划 、 如 何 组 织 以 及 
如 何 和 项 目 小 组 之 间 进行 交流 的 。 


提示 不 要 忘 了 软件 测试 员 的 目标 是 : 
软件 测试 员 的 目标 是 尽 可 能 旱地 找 出 软件 缺陷 ， 并 保证 其 得 以 修复 。 


利用 精心 组 织 的 测试 计划 、 测 试用 例 和 测试 报告 ， 对 测试 工作 进行 正确 的 记录 以 及 交流 ， 
将 使 达到 目标 变 得 更 有 可 能 。 

本 章 着 重 讲述 测试 计划 ， 即 工作 中 会 遇 到 的 最 基本 测试 文档 。 测 试 新 手 一 般 不 会 被 安排 
为 项 目 建立 全 面 测 试 计 划一 一 这 是 由 测试 负责 人 或 者 经 理 来 做 ， 而 测试 员 一 般 是 协助 建立 测 
试 计划 ， 因 此 需要 了 解 计划 测试 工作 包括 哪些 内 容 ， 测 试 计划 需要 哪些 信息 。 通 过 这 种 方式 ， 
测试 员 为 计划 过 程 做 出 了 努力 ， 并 利用 掌握 的 信息 组 织 自 己 的 测试 任务 。 此 外 ， 过 不 了 多 久 
就 可 以 编制 自己 的 软件 测试 计划 了 。 

本 章 重 点 包括 : 

。 测试 计划 的 目的 

e 为 什么 计划 是 一 个 过 程 ? 而 不 是 一 个 结果 ， 有 什么 重要 性 

。 计划 过 程 中 需要 考虑 的 问题 

。 测试 新 手 在 测试 计划 中 的 作用 


17.1 测试 计划 的 目标 


测试 过 程 不 可 能 在 真空 中 进行 。 如 果 程 序 员 编 写 代 码 而 不 说 明 它 和 干什么、 如 何 工作 、 何 
时 完成 ， 执 行 测 试 任务 就 很 困难 了 。 同 样 ， 如 果 测 试 员 之 间 不 交流 计划 测试 的 对 象 ， 需 要 什 
么 资源 ， 进 度 如 何 安排 ， 整 个 项 目 就 很 难 成 功 。 软件 测试 计划 (software test plan) 是 软件 济 
试 员 与 产品 开发 小 组 交流 意图 的 主要 方式 。 

IEEE 829-1998 关 于 软件 测试 文档 (Software Test Documentation ) 。 的 标 准 以 如 下 方式 表 
达 软 件 测 试 计划 的 目的 : 





© IEEE 829-1998 标 准 可 以 从 standards ieee.org 站 点 购买 到 电子 或 打印 文档 。 





178 兹 五 宴 分 使 用 测 研 文 桂 


规定 测试 活动 的 范围 、 方 法 、 资 源 和 进度 ; 明确 正在 测试 的 项 目 、 要 测试 的 特性 、 要 执 
行 的 测试 任务 、 每 个 任务 的 负责 人 ， 以 及 与 计划 相关 的 风险 。 


根据 该 定义 和 IEEE 的 其 他 标准 ， 我 们 注意 到 测试 计划 采用 的 形式 是 书面 文档 。 这 虽然 并 
不 奇怪 ， 但 却 是 非常 重要 的 一 点 ， 因 为 尽管 最 终结 果 只 是 一 页 纸 (或 者 联机 文档 , 或 者 网 页 )， 
但 是 这 页 纸 不 是 测试 计划 的 全 部 内 容 。 


测试 计划 只 是 创建 详细 计划 过 程 的 一 个 副产品 ， 重 要 的 是 计划 过 程 ， 而 不 是 产生 的 结果 
文档 。 

本 章 的 标题 是 “计划 测试 工作 ”， 而 不 是 “撰写 测试 计划 ”。 两 者 的 区 别 显而易见 。 撰 写 
的 测试 计划 通常 最 终 成 为 了 一 个 空 架子 一 一 束之高阁 的 文档 (shelfware)， 以 后 再 不 会 有 人 看 。 
如 果 计 划 工 作 的 目标 从 建立 文档 转移 到 建立 过 程 ， 从 撰写 测试 计划 转移 到 计划 测试 任务 ， 就 
不 存在 空 架 子 问题 了 。 

这 并 不 是 说 描述 和 总 结 计划 过 程 结果 的 最 终 测 试 计划 文档 就 不 需要 了 ， 相 反 ， 仍 然 需要 
有 一 个 测试 计划 作为 参考 和 文档 归档 一 一 在 一 些 行业 这 是 法 律 的 要 求 。 重 要 的 是 计划 是 个 副 
产品 ， 并 非 计 划 过 程 的 根本 目的 。 


测试 计划 过 程 的 最 终 目 标 是 交流 (而 不 是 记录 ) 软件 测试 小 组 的 意图 、 期 望 ， 以 及 对 将 
要 执行 的 测试 任务 的 理解 。 


如 果 和 项 目 小 组 一 起 ， 花 一 些 时间 研 究 本 章 下 面 所 列 的 主题 ， 确 保 所 有 人 都 了 解 测试 小 
组 的 计划 ， 最 终 就 可 以 达到 这 个 目标 。 


17.2 测试 计划 主题 


许多 软件 测试 的 书籍 介绍 了 测试 计划 模板 或 者 样本 测试 计划 ， 可 以 随意 修改 ， 建 立 针 对 
具体 项 目的 测试 计划 。 该 方法 的 问题 是 容易 把 重点 放 在 文档 上 ， 而 不 是 计划 过 程 上 。 大 型 软 
件 项 目的 测试 负责 人 和 经 理 拿 起 测试 模板 的 副本 或 者 原 有 测试 计划 ， 花 上 几 个 小 时 剪 切 、 复 
制 、 查 找 和 替换 ， 从 而 得 到 当前 项 目的 “独特 ”测试 计划 。 他 们 认为 自己 做 了 一 件 大 事 ， 仅 
用 几 个 小 时 就 建立 了 其 他 测试 员 要 花 几 周 或 者 几 个 月 才能 建立 的 测试 计划 。 然 而 ， 他 们 没有 
抓 住 重点 ， 当 产品 小 组 中 没有 人 知道 测试 员 在 干什么 ， 或 者 为 什么 那么 干 的 时 候 ， 测 试 项 目 
的 坏 端 就 显露 出 来 了 。 

因此 ， 本 书 中 看 不 到 测试 计划 模板 。 取 而 代 之 的 是 要 遵循 一 系列 重要 主题 的 清单 ， 该 清 
单 应 该 在 整个 项 目 小 组 一 包括 所 有 测试 员 中 全 面 讨论 、 相 互 沟通 并 达成 一 致 。 该 清单 也 许 
不 能 完全 适用 所 有 项 目 ， 但 是 因为 它 列 出 了 常见 的 与 重要 测试 相关 的 问题 ， 所 以 比 测试 计划 
模板 更 实用 。 由 于 从 本 质 上 讲 计划 是 一 个 动态 过 程 ， 因 此 如 果 发 现 列 出 的 问题 不 适应 具体 情 
况 ， 就 可 以 自行 调整 。 

当然 ， 测 试 计划 过 程 的 结果 是 某 一 种 文档 。 如 果 行业 或 者 公司 有 自己 的 标准 ， 格 式 可 以 
预先 定义 。 软 件 测试 文档 的 EEE 标 准 829-1998 推 荐 了 一 种 常用 格式 。 除 此 之 外 ， 格 式 可 由 项 
目 小 组 来 决定 ， 应 该 能 够 非常 有 效 地 交流 工作 成 果 。 


17.2.1 高 级 期 望 
测试 过 程 中 的 第 1 个 论题 是 定义 测试 小 组 的 高 级 期 望 。 虽 然 这 是 项 目 小 组 全 部 成 员 必须 一 
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致 同意 的 基本 论题 ， 但 是 常常 被 忽视 。 它 们 可 能 被 认为 “ 太 过 明显 ”， 并 且 想 当然 地 假定 每 个 

人 都 了 解 一 但是， 优秀 的 测试 员 知道 永远 不 要 假定 任何 事 。 

. 。 测试 计划 过 程 和 软件 测试 计划 的 目的 是 什么 ? 测试 员 本 人 知道 进行 测试 计划 的 理由 一 一 
好 吧 ， 就 很 快 会 知道 但 是 程序 员 知 道 吗 ? 技术 文档 作者 知道 吗 ? 管理 部 门 知道 
吗 ? 更 重要 的 是 ， 他 们 同意 和 支持 这 个 测试 计划 过 程 吗 ? 
。 测试 的 是 什么 产品 ”当然 你 相信 它 是 Ginsumatic v8.0 版 ， 但 是 真能 够 确定 四 ?这 个 v8.0 
版 计划 是 完全 重 写 的 还 是 仅仅 维护 升级 的 ? 它 是 一 个 独立 程序 还 是 由 几 千 个 小 程序 组 成 
的 ? 它 是 自行 开发 的 还 是 第 三 方 开 发 的 ? 还 有 ，Ginsumatic 究 竟 是 什么 东西 ? 
为 了 使 测试 工作 成 功 ， 必 须 完 全 了 解 产品 是 什么 ， 以 及 其 数量 和 适用 范围 。 从 说 明 书 得 

到 产品 描述 是 一 个 好 的 开端 ， 但 是 将 其 给 小 组 其 他 人 看 就 会 发 生 奇 怪 的 现象 。 测 试 员 并 不 希 

望 程序 员 宣称 : “我 写 的 代码 不 执行 这 样 的 功能 ! ” 
。 产品 的 质量 和 可 靠 性 目标 是 什么 ?这 是 大 家 争论 的 焦点 ， 但 是 使 所 有 人 一 致 同意 这 些 目 
标 是 绝对 必要 的 。 销 售 代 表 会 说 软件 运行 要 尽量 快 ;程序 员 会 说 软件 要 使 用 最 酷 的 技 
术 ; 产品 支持 会 说 软件 不 能 有 引起 任何 冲突 的 缺陷 。 他 们 不 可 能 都 对 。 怎 样 权衡 快 和 
酷 ? 怎样 向 产品 支持 工程 师 解释 软件 有 可 能 携带 导致 崩溃 的 缺陷 ? 由 于 测试 小 组 将 会 测 
试 产品 的 质量 和 可 靠 性 ， 因 此 要 知道 目标 是 什么 ; 否则 怎么 知道 软件 是 否 达到 目标 呢 ? 
测试 计划 过 程 的 结果 必须 是 清晰 、 简 洛 的 、 在 产品 质量 和 可 靠 性 目标 上 一 臻 通过 的 定义 。 
目标 必须 绝对 ， 以 免 说 不 清 是 否 达到 目标 。 如 果 销 售 人 员 想 快 ， 就 让 他 们 定义 基准 一 
能 够 每 秒 钟 处 理 一 百 万 个 事务 ， 或 者 比 对 手 XYZ 执 行 同样 的 任务 快 一 倍 。 如 果 程 序 员 喜 
欢 出 色 的 技术 ， 就 说 清 技术 是 什么 。 不 要 忘 了 ， 不 成 熟 的 技术 就 是 软件 缺陷 。 至 于 软件 
缺陷 ， 不 能 保证 全 能 找到 一 一 这 是 不 可 能 的 。 但 是 ， 可 以 说 目标 是 自动 猴子 测试 员 运行 
24 小 时 不 崩溃 ， 或 者 执行 全 部 测试 用 例 而 找 不 到 新 的 软件 缺陷 ， 等 等 。 要 有 针对 性 。 随 
着 产品 发 布 日 期 临近 ， 质量 和 可 靠 性 目标 不 应 该 再 有 不 同 的 意见 了 。 每 一 个 人 都 应 该 知 
道 这 一 点 。 


17.2.2 人 、 地 点 和 事 


测试 计划 需要 明确 在 项 目 中 工作 的 人 ， 他 干什么 ， 怎 样 和 他 联系 。 在 小 项 目 中 这 似乎 没 
有 必要 ， 但 是 即使 是 小 项 目 ， 小 组 成 员 也 可 能 分 散在 很 远 的 地 方 ， 或 者 人 员 变 动 ， 为 跟踪 谁 
做 什么 造成 困难 。 大 型 团队 可 能 有 数 十 或 数 百 个 联络 点 ， 测 试 小 组 很 可 能 要 和 所 有 人 打交道 
知道 他 们 是 谁 和 如 何 联系 是 非常 重要 的 。 测 试 计 划 应 访 包 括 项 目 中 所 有 主要 人 员 的 姓名 、 职 
务 、 地 址 、 电 话 号 码 、 电 子 邮 件 地 址 和 职责 范围 。 

同样 ， 文 档 存 放 在 哪里 (测试 计划 放 在 哪个 文件 夹 或 服务 器 上 )， 软 件 从 哪里 可 以 下 载 ， 
测试 工具 在 哪里 等 都 需要 明确 。 考 虑 邮件 地 址 、 服 务 器 和 网 站 地 址 。 

如 果 在 执行 测试 时 硬件 不 可 缺少 ， 那 么 它 放 在 哪里 、 如 何 得 到 ? 如 果 有 进行 配置 测试 的 
外 部 测试 实验 室 ， 那 么 它们 具体 在 哪里 ? 它们 的 进度 是 怎样 安排 的 ? 

该 论题 最 好 的 描述 是 “测试 新 手 问题 指南 ”。 这 通常 是 要 测试 新 手 负责 的 好 的 测试 计划 部 
分 。 找 到 所 有 问题 的 答案 ， 并 把 发 现 记录 下 来 。 你 想 知道 的 也 是 别人 想 知道 的 。 


17.2.3 定义 
让 项 目 小 组 中 的 全 部 成 员 在 高 级 质量 和 可 靠 性 目标 上 达成 一 致 是 一 件 困难 的 事情 。 不 幸 
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的 是 ， 这 只 是 软件 项 目 中 需要 定义 的 用 词 和 术语 的 开始 。 回 顾 第 1 章 “ 软 件 测试 的 背景 ”中 关 
于 软件 缺陷 的 定义 : 

1) 软件 未 实现 产品 说 明 书 要 求 的 功能 。 

2) 软件 出 现 了 产品 说 明 书 指明 不 应 该 出 现 的 错误 。 

3) 软件 实现 了 产品 说 明 书 未 提 到 的 功能 。 

4) 软件 未 实现 产品 说 明 书 虽 未 明确 提 及 但 应 该 实现 的 目标 。 

能 确认 小 组 全 部 成 员 知道 、 理 解 一 -更 重要 的 是 一 -同意 该 定义 吗 ? 项 目 经 理 知道 软件 测 
试 员 的 目标 吗 ? 如 果 不 是 这 样 ， 测 试 计划 的 过 程 就 是 保证 他 们 要 理解 和 同意 。 

这 是 项 目 小 组 中 最 大 的 问题 之 一 一 忽视 在 开发 产品 中 这 些 常用 术语 应 用 时 的 含义 。 程 序 
员 、 测 试 员 和 管理 部 门 对 术语 都 有 各 自 的 理解 。 如 果 程 序 员 和 测试 员 对 软件 缺陷 是 什么 的 基 
本 理解 未 能 达到 一 致 ， 可 以 想见 争执 在 所 难免 。 

测试 计划 过 程 就 是 定义 小 组 成 员 的 用 词 和 术语 。 对 差异 要 进行 鉴别 ， 并 得 到 一 致 的 同意 ， 
使 全 体 人 员 说 法 一 致 

以 下 是 一 些 常用 术语 和 相当 松散 的 定义 。 不 要 把 它 当 做 完整 或 者 定义 明确 的 清单 。 它 取 
决 于 具体 项 目 、 开 发 小 组 遵循 的 开发 模式 ， 以 及 小 组 成 员 的 经 验 。 该 清单 列 出 的 术语 只 是 在 
应 该 为 项 目 定义 哪些 内 容 的 考虑 上 开拓 思路 ， 并 说 明 使 全 体 人 员 了 解 其 含义 的 重要 性 。 

。 构 造 。 程 序 员 放 在 一 起 需要 测试 的 代码 和 内 容 的 搜集 。 测 试 计划 应 该 定义 构造 的 频率 

(每 天 、 每 周 等 ) 以 及 期 望 的 质量 等 级 。 

。 测 试 发 布 文档 (TRD)。 程 序 员 发 布 的 文档 。 对 每 一 个 构造 都 声明 新 特性 、 不 同 特性 、 

修复 问题 和 准备 测试 的 内 容 。 

。Alpha 版 。 意 在 对 少数 主要 客户 和 市 场 进行 数量 有 限 的 分 发 ， 用 于 演示 目的 的 早期 构造 。 
其 无 意 在 实际 环境 中 使 用 。 使 用 alpha 版 的 所 有 人 员 必须 了 解 确切 内 容 和 质量 等 级 。 
。Beta 版 。 意 在 向 潜在 客户 广泛 分 发 的 正式 构造 。 回 顾 第 16 章 “缺陷 胡 炸 和 beta 测 试 ”所 

述 ， 进 行 beta 测 试 的 原因 需要 定义 。 

。 说 明 书 完成 。 说 明 书 预计 完成 并 且 不 再 更 改 的 日 程 安排 。 干 过 几 个 项 目 之 后 ， 就 会 知道 

这 个 期 限 只 能 在 虚幻 小 说 中 实现 ， 但 是 它 确实 应 该 设 定 ， 以 后 只 能 进行 控制 范围 内 的 小 
改动 。 

。 特 性 完成 。 程 序 员 不 再 向 代码 增加 新 特性 ， 并 集中 修复 缺陷 的 日 期 安排 。 

。 软 件 缺 陷 会 议 。 由 测试 经 理 、 项 目 经 理 、 开 发 经 理 和 产品 支持 经 理 组 成 的 团队 ， 每 周 召 

开会 议 审查 软件 缺陷 ， 并 确定 哪些 需要 修复 ， 应 该 如 何 修复 。 软 件 缺陷 会 议 是 在 测试 计 
划 中 建立 质量 和 可 靠 性 目标 的 主要 措施 之 一 。 


17.2.4 团队 之 间 的 责任 


团队 之 间 的 责任 是 明确 指出 可 能 影响 测试 工作 的 任务 和 交付 内 容 。 测 试 小 组 的 工作 由 许 
多 其 他 功能 团队 驱动 -一 -程序 员 、 项 目 经 理 、 技 术 文 档 作 者 等 。 如 果 责 任 未 明确 ， 整 个 项 
目 一 尤其 是 测试 一 就 会 出 现 戏剧 化 情景 “我 拿 了 ， 不 ， 你 拿 了 ， 你 还 没有 处 理 ， 不 ， 我 
想 你 已 经 处 理 过 了 ”， 从 而 导致 重要 的 任务 被 忘记 。 

需要 定义 的 任务 类 型 不 像 测试 员 的 测试 、 程 序 员 的 程序 那样 容易 分 清 。 麻 烦 的 任务 可 能 
有 多 个 负责 者 ， 有 时 没有 责任 者 ， 或 者 由 多 人 共同 负责 。 计 划 这 些 任务 和 交流 计划 最 容易 的 
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方法 是 使 用 如 图 17-1 所 示 的 简 表 。 : 


程 | 测 
i | 
员 
任务 


j 吉 Ss 产 8 版 声明 | 
| al 下 Pma 成 9 消 # |x| | | | | | 
oe | 
jr 分 |x| | | 一 一 
项 8 人 进 度 |x| 一 | | 一 一 
| ifF 和 维护 Paim 忆 jx | | | | 
| 9 查 六 aiMg 忆 | 一 | 一 一 | 一 一 王 | 
| 产品 的 体系 结 购 | 一 |x| | | | 

加 

| 


> 洪 哗 
洲 况 红 雍 


装 乏 族 冲 神 演 


| 来自 其 他 团队 的 测试 R 妈 | | | 一 | | | 
at | |x| | | | 
ua 和 | 
jm 





图 17-1 借助 表格 的 帮助 来 组 织 团队 之 间 的 责任 
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表 中 任务 列 于 左边 ， 可 能 的 责任 者 横 列 在 顶部 .“ x ”号 表示 任务 的 责任 者 ,短线 (- ) 
表示 任务 的 参加 者 ， 空 白 表 示 团 队 不 负责 该 任务 。 

确定 表格 列 出 哪些 任务 取决 于 经 验 。 理 想 情况 下 ， 小 组 中 有 资深 成 员 可 以 先 过 一 遍 清单 ， 
但 是 每 一 个 项 目 是 不 同 的 ， 有 其 独特 的 团队 之 间 的 责任 和 依赖 关系 。 良 好 的 开端 是 找 人 询问 
过 去 项 目的 情况 ， 以 及 能 记得 的 曾 被 朴 忽 的 任务 。 


17.2.5 哪些 要 测试 ， 哪 些 不 要 测试 


有 时 会 惊奇 地 发 现 软件 产品 中 包含 的 某 些 内 容 不 必 测 试 。 这 些 内 容 可 能 是 以 前 发 布 过 或 
者 测试 过 的 软件 部 分 。 来 自 其 他 软件 公司 并 已 经 测试 过 的 内 容 可 以 直接 接受 。 外 包公 司 会 提 
供 预 先 测试 过 的 产品 部 分 。 

计划 过 程 需要 验 明 软件 的 每 一 部 分 ， 确 定 它 是 否 要 测试 。 如 果 没 有 测试 ， 需 要 说 明 这 样 
做 的 理由 。 如 果 由 于 误解 而 使 部 分 代码 在 整个 开发 周期 漏 掉 ， 未 做 任何 测试 ， 就 可 能 导致 一 
场 灾 难 。 


17.2.6 测试 的 阶段 


.要 计划 测试 的 阶段 ， 测 试 小 组 就 会 查看 预定 的 开发 模式 ， 并 决定 在 项 目 期 间 是 采用 一 个 
测试 阶段 还 是 分 阶段 测试 。 在 边 写 边 改 模式 中 ， 可 能 只 不 断 测 试 ， 直 到 
某 个 成 员 宣布 测试 停止 。 在 瀑布 和 螺旋 模式 中 ， 从 检查 产品 说 明 书 到 验收 测试 可 能 有 几 个 阶 
段 ， 测 试 计划 也 属于 其 中 一 个 测试 阶段 。 

”测试 的 计划 过 程 应 该 明确 每 一 个 预定 的 测试 阶段 ， 并 告知 项 目 小 组 。 该 过 程 一 般 有 助 于 
整个 小 组 形成 和 了 解 全 部 开发 模式 。 


注意 与 测试 阶段 相关 联 的 两 个 重要 概念 是 进入 和 退出 规则 。 测 试 小 组 不 能 只 是 周一 
来 上 班 ， 看 看 日 历 就 知道 该 进入 下 一 个 阶段 了 。 每 一 个 阶段 都 必须 有 客观 定义 的 规则 ， 
明确 地 声明 本 阶段 结束 ， 下 一 阶段 开始 。 

例如 ， 说 明 书 审查 阶段 可 能 在 正式 说 明 书 审查 公布 时 结束 。beta 测 试 阶段 可 能 在 测试 
员 完 成 验收 测试 ， 从 预定 beta 测 试 构 造 中 没有 发 现 新 的 软件 缺陷 时 开始 。 

假如 没有 明显 的 进入 和 有 退出 规则 ， 测 试 工 作 就 会 变 成 单一 的 ， 且 毫 无 头绪 的 工作 一 一 
很 像 边 写 边 改 开 发 模式 。 





17.2.7 测试 策略 


与 定义 测试 阶段 相关 联 的 练习 是 定义 测试 策略 。 测 试 策略 描述 测试 小 组 用 于 测试 整体 和 
每 个 阶段 的 方法 。 回 显 到 目前 为 止 所 学 的 软件 测试 知识 。 如 果 你 面 对 需 要 测试 的 产品 ， 就 需 
要 决定 使 用 黑 盒 测试 好 ， 还 是 白 盒 测 试 好 。 如 果 决 定 综合 使 用 这 两 种 技术 ， 那 么 在 软件 的 哪 
些 部 分 ， 什 么 时 候 运 用 它们 呢 ? 

某 些 代码 用 手工 测试 ， 而 其 他 代码 用 工具 和 自动 化 测试 也 许 是 个 不 错 的 想法 。 如 果 要 使 
用 工具 ， 那 么 是 否 需要 开发 ， 或 者 能 够 买 到 已 有 的 商用 解决 方案 ? 如 果 是 ， 选 择 哪 一 种 情 
况 ? 也 许 更 有 效 的 方法 是 把 整个 测试 工作 外 包 到 专业 测试 公司 ， 只 要 形同虚设 的 测试 员 监 督 
他 们 的 工作 即 可 。 
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做 决策 是 一 项 复杂 的 工作 一 一 需要 由 经 验 相当 丰富 的 测试 员 来 做 ， 因 为 这 将 决定 测试 工作 
的 成 败 。 使 项 目 小 组 全 体 成 员 都 了 解 并 同意 预定 计划 是 极其 重要 的 。 


17.2.8 资源 需求 


计划 资源 需求 是 确定 实现 测试 策略 必 备 条 件 的 过 程 。 在 项 目 期 间 测试 可 能 用 到 的 任何 资 
源 都 要 考虑 到 。 例 如 : 

。 人 员 。 人 员 数 量 、 经 验 和 专长 ? 他 们 是 全 职 、 兼 职 、 合 同 还 是 学 生 ? 

。 设备。 计算 机 、 测 试 硬件 、 打 印 机 、 工 具 。 

。 办公 室 和 实验 室 空间 。 在 哪里 ? 有 多 大 ? 如 何 布局 ? 

。 软件 。 文 字 处 理 程 序 、 数 据 库 程序 和 自 定义 工具 。 要 购买 哪些 东西 ? 要 写 什 么 材料 ? 

。 外 包 测 试 公司 。 用 他 们 吗 ? 选择 他 们 有 什么 原则 ? 他 们 的 费用 如 何 ? 

。 其 他 配备 。 磁 盘 、 电 话 、 参 考 书 、 培 训 资 料 。 在 项 目 期 间 还 需要 别 的 吗 ? 

特定 资源 需求 取决 于 项 目 、 小 组 和 公司 ， 因 此 测试 计划 工作 要 仔细 估算 测试 软件 的 要 求 。 
开始 不 做 好 预算 ， 到 项 目 后 期 获取 资源 通常 很 困难 ， 甚 至 无 法 做 到 ， 因 此 创建 完整 清单 是 必 
要 的 。 


17.2.9 测试 员 的 任务 分 配 


一 旦 定义 了 测试 阶段 、 测 试 策略 和 资源 要 求 ， 这 些 信息 加 上 产品 说 明 书 就 可 以 分 配 每 个 
测试 员 的 任务 。 前 面 讨论 的 团队 之 间 的 责任 是 指 哪些 功能 性 团体 (管理 、 测 试 和 程序 员 等 ) 
负责 哪些 高 级 任务 。 计 划 测 试 员 任 务 分 配 是 指 ， 明 确 测试 员 负 责 软 件 的 哪些 部 分 、 哪 些 可 测 
试 特性 。 表 17-1 给 出 了 一 个 极为 简化 的 Windows 写 字 板 程序 的 测试 员 任务 分 配 表 。 


表 17-1 ”写字 板 程序 的 高 级 任务 分 配 


测 试 员 测试 任务 分 配 

Al 字符 格式 : 字体 、 大 小 、 颜 色 、 样 式 
Sarah ， 布局 : 项 目 符号 、 段 落 、 制 表 位 、 换 行 
Luis 配置 和 兼容 性 

Jolie 用 户 界面 : 易 用 性 、 外 观 、 辅 助 特性 
Valerie 文档 : 在 线 帮 助 、 滚 动 帮助 

Ron . 压力 和 负载 


实际 责任 表 更 加 详细 ， 确 保 软件 的 每 一 部 分 都 分 配 有 人 测试 。 每 一 个 测试 员 都 会 清楚 地 
知道 自己 负责 什么 ， 而 且 有 足够 的 信息 开始 设计 测试 用 例 。 


17.2.10 测试 进度 


测试 进度 需要 以 上 所 述 的 全 部 信息 ， 并 将 其 映射 到 整个 项 目 进度 中 。 该 阶段 一 般 在 测试 计 
划 工 作 中 至 关 重 要 ， 因 为 原 以 为 很 容易 设计 和 编码 的 一 些 必要 特性 可 能 后 来 证 实测 试 非常 耗 
时 。 一 个 例子 是 某 程序 在 不 明显 的 有 限 区 域 之 外 不 执行 打印 。 没 有 人 意识 到 打印 对 测试 的 影 
响 ， 而 在 产品 中 保留 该 特性 ， 结 果 导 致 打印 机 配置 测试 要 花 几 周 时 间 。 作 为 测试 计划 的 一 部 
分 ， 完 成 测试 进度 安排 可 以 为 产品 小 组 和 项 目 经 理 提 供 信息 ， 以 便 更 好 地 安排 整个 项 目的 进 
度 。 他 们 其 至 会 根据 测试 进度 决定 砍 掉 产 品 的 一 些 特性 ， 或 者 将 其 推迟 到 下 一 个 版 本 中 推出 。 
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关于 测试 计划 的 一 个 重要 问题 是 测试 工作 通常 不 能 平均 分 布 在 整个 产品 开发 周期 中 。 有 
些 测 试 以 说 明 书 和 代码 审查 、 工 具 开 发 等 形式 在 早期 进行 ,但 是 测试 任务 的 数量 、 人 员 的 数 
量 和 测试 花费 的 时 间 随 着 项 目的 进展 不 断 增 长 ， 在 产品 发 布 之 前 会 形成 短期 的 高 峰 。 图 17-2 
显示 了 典型 的 测试 资源 图 表 。 


某 项 目 资源 


测试 员 





和 20 
月 份 
图 17-2 项 目 中 的 测试 资源 数目 随 着 开发 的 进度 而 增长 
持续 增长 的 结果 是 测试 进度 受到 项 目 中 先前 事件 的 影响 越 来 越 大 。 如 果 项 目 中 某 一 部 分 
交 给 测试 组 时 晚 了 两 周 ， 而 按照 进度 只 有 3 周 测试 时 间 ， 结 果 会 怎样 ?把 3 周 的 测试 在 1 周 内 进 
了 ， 还 是 把 项 目 推迟 2 周 ? 这 个 问题 称 为 进度 破坏 (schedule crunch ) 。 
使 测试 任务 摆脱 进度 破坏 的 一 个 方法 是 测试 进度 避免 定 死 启 动 和 停止 任务 的 日 期 。 表 17-2 
是 肯定 会 使 小 组 陷入 进度 破坏 的 测试 进度 。 
表 17-2 固定 日 期 的 测试 进度 


NY 





测试 任务 日 期 

测试 计划 完成 3/5/2001 

测试 用 例 完成 6/1/2001 

通过 第 1 轮 测试 6/15/2001-8/1/2001 
通过 第 2 轮 测试 8/15/2001-10/1/2001 
通过 第 3 轮 测试 10/15/2001-11/15/2001 





相反 ， 如 果 测 试 进度 根据 测试 阶段 定义 的 进入 和 退出 规则 采用 相对 日 期 那么 显然 测试 
任务 依赖 于 其 他 先 完成 的 可 交付 内 容 。 单 个 任务 需要 多 少时 间 也 很 明显 。 表 17-3 给 出 了 一 个 
例子 。 
表 17-3 采用 相对 日 期 的 测试 进度 





测试 任务 开始 日 其 使 用 时 间 
测试 计划 完成 说 明 书 完成 后 7 天 4 个 星期 
测试 用 例 完成 测试 计划 完成 12 个 星期 
#1 测试 通过 代码 完成 构建 6 个 星期 
并 2 测试 通过 Beta 版 构建 6 个 星期 


#3 测试 通过 发 行 版 构建 4 个 星期 
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许多 软件 进度 安排 产品 会 使 该 过 程 容易 管理 。 项 目 经 理 或 者 测试 经 理 最 终 负 责 进度 安排 ， 
可 能 会 使 用 此 类 软件 ， 但 是 要 求 测 试 员 参与 安排 自己 的 具体 任务 。 


17.2.11 测试 用 例 


本 书 前 面 已 经 讲 过 什么 是 测试 用 例 了 。 第 18 章 “编写 和 跟踪 测试 用 例 ” 将 进一步 讲述 细 
节 。 测 试 计划 过 程 将 决定 用 什么 方法 编写 测试 用 例 ， 在 哪里 保存 测试 用 例 ， 如 何 使 用 和 维护 
测试 用 例 。 


17.2.12 软件 缺陷 报告 


第 19 章 “报告 发 现 的 问题 ”将 讲述 用 于 记录 和 跟踪 所 发 现 的 软件 缺陷 的 技术 。 报 告 的 各 
种 可 能 的 方式 包括 : 隔 着 墙壁 呼喊 ， 使 用 粘性 便签 ， 使 用 复杂 的 缺陷 跟踪 数据 库 。 使 用 哪些 
过 程 需要 计划 ， 以 便 每 个 软件 缺陷 从 发 现 到 修复 的 过 程 中 都 被 跟踪 一 一 这 样 就 绝 不 会 被 忘掉 。 


17.2.13 度量 和 统计 


度量 和 统计 是 跟踪 项 目 发 展 、 成 效 和 测试 的 手段 。 详 情 见 第 20 章 “成 效 评价 "。 测 试 的 计 
划 过 程 应 该 明确 收集 哪些 信息 ， 要 做 什么 决定 ， 谁 来 负责 收集 。 

实用 的 测试 度量 的 例子 如 下 : ， 

。 在 项 目 期 间 每 天 发 现 的 软件 缺陷 总 数 。 

_。 仍然 需要 修复 的 软件 缺陷 清单 。 

。 根 据 严重 程度 对 当前 软件 缺陷 评级 。 

。 每 个 测试 员 找 出 的 软件 缺陷 总 数 。 

。 从 每 个 特性 或 者 区 域 发 现 的 软件 缺陷 数目 。 


17.2.14 风险 和 问题 


测试 计划 中 常用 而 且 非 常 实 用 的 部 分 是 明确 指出 项 目的 澄 在 问题 或 者 风险 区 域 一 一 这 是 对 
测试 工作 有 影响 的 地 方 。 

假设 有 十 儿 个 测试 新 手 ， 全 部 软件 测试 经 验 来 自 于 阅读 本 书 ， 受 命 测 试 新 建 核电 站 的 软 
件 ， 这 就 是 风险 。 也 许 某 个 新 软件 要 对 1500 个 调制 解 调 器 进行 测试 ， 在 项 目 进度 中 的 时 间 只 
能 对 其 中 500 个 进行 测试 ， 这 又 是 一 个 风险 。 

软件 测试 员 要 负责 明确 指出 计划 过 程 中 的 风险 ， 并 与 测试 经 理 和 项 目 经 理 交 换 意见 。 这 
些 风险 应 该 在 测试 计划 中 明确 指出 ， 在 进度 中 给 予 说 明 。 有 些 是 真正 的 风险 ， 而 有 些 最 终 证 
实 是 无 关 紧 要 的 。 重 要 的 是 尽早 明确 指出 ， 以 免 在 项 目 晚期 发 现时 感到 惊慌 。 


17.3 小 结 


即使 对 于 小 型 项 目 ; 开发 测试 计划 也 是 不 可 轻视 的 大 任务 。 不 错 ， 填 写 模板 的 空白 项 很 
容易 ， 几 个 小 时 就 可 以 打印 出 测试 计划 的 副本 ,但 是 这 样 没有 抓 住 要 点 。 测 试 计划 是 一 项 全 
体 测试 员 和 整个 产品 小 组 中 的 主要 人 员 参 与 的 工作 。 做 好 测试 计划 要 花费 几 周 甚至 几 个 月 的 
时 间 。 但 是 在 产品 开发 早期 ， 对 为 什么 要 测试 ， 怎 样 去 测试 形成 全 面 的 理解 和 一 致 的 同意 ， 
就 会 使 测试 工作 更 加 顺利 地 展开 ， 而 不 是 赶 进度 。 注 意 ， 重 要 的 是 创建 测试 计划 的 过 程 而 不 
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是 结果 文档 。 

如 果 你 是 测试 新 手 一 也 许 在 读本 书 的 时 候 是 一 -你 也 许 不 会 负责 开发 整个 软件 测试 计 
划 。 然 而 ， 你 应 该 准备 着 向 测试 负责 人 或 者 经 理 为 本 章 所 列 的 所 有 论题 提供 输入 内 容 。 你 要 
负责 测试 软件 的 某 些 方面 和 特性 ， 你 制订 的 进度 、 所 需 的 资源 和 承担 的 风险 最 终 全 部 要 融入 
整个 测试 计划 中 。 


17.4 小 测验 


以 下 是 帮助 读者 加 深 理 解 的 小 测验 。 答 案 参见 附录 A 一 一 但 是 不 要 偷 看 ! 

1. 测试 计划 的 目的 是 什么 ? 

2. 为 什么 创建 计划 的 过 程 是 关键 ， 而 不 是 计划 本 身 ? 

3. 为 什么 定义 软件 的 质量 和 可 莫 性 目标 是 测试 计划 的 重要 部 分 ? 

4. 什么 是 进入 和 退出 规则 ? 

5. 列 出 在 测试 计划 时 应 该 考虑 的 一 些 常用 测试 资源 。 

6. 判断 是 非 : 制订 进度 要 符合 固定 日 期 ， 以 使 测试 任务 或 者 测试 阶段 何 时 开始 ， 何 时 结 
东 没 有 异议 。 





第 18 章 
编写 和 跟踪 测试 用 例 


第 17 章 “计划 测试 工作 ”讲述 了 测试 计划 的 过 程 和 项 目测 试 计划 的 创建 。 测 试 计划 提供 
的 细节 和 交流 的 信息 对 于 保障 项 目 成 功 必 不 可 少 ， 但 是 就 单个 测试 员 每 天 的 测试 活动 而 言 ， 
会 显得 有 一 点 抽象 和 高 级 。 

测试 计划 过 程 的 下 一 步 ， 编 写 和 跟踪 测试 用 例 对 软件 测试 员 的 常规 任务 有 更 直接 的 影响 。 
开始 只 能 执行 别人 写 好 的 测试 用 例 ， 很 快 就 能 自己 编写 并 让 其 他 测试 员 使 用 了 。 本 章 讲述 如 
何 有 效 地 开发 和 管理 这 些 测 试用 例 ， 使 测试 尽量 成 效 显 著 。 

本 章 重点 包括 : 

。 编写 和 跟踪 测试 用 例 为 什么 重要 

。 测试 设计 说 明 书 是 什么 

。 测试 用例 说 明 书 是 什么 

。 应 该 如 何 编写 测试 程序 

。 应 该 如 何 组 织 测试 用 例 


18.1 测试 用 例 计 划 的 目标 


本 书 前 面 章节 已 经 讨论 了 各 种 软件 开发 模式 ， 以 及 根据 开发 模式 选择 进行 有 效 测试 的 各 
种 测试 技术 。 在 大 爆炸 或 者 边 写 边 改 模式 中 ， 测 试 员 要 听任 项 目的 摆布 ， 常 常 要 猜测 进行 何 
种 测试 ， 找 出 的 问题 是 不 是 真正 的 软件 缺陷 。 在 组 织 性 更 强 的 开发 模式 中 ， 测 试 变 得 更 容易 
一 些 ， 因 为 有 正式 的 文档 ， 例 如 产品 说 明 书 和 设计 说 明 书 。 软 件 的 创建 一 设计、 构造 和 编 
程 一 一 成 为 真正 的 过 程 ， 而 不 是 把 软件 发 布 出 去 的 混乱 和 匆忙 。 在 这 种 环境 下 测试 效率 更 高 、 
更 有 预见 性 。 

有 一 名 老话 : “对 鹅 是 好 东西 ， 对 鸭 也 是 好 东西 。 意 思 是 说 对 某 个 人 或 者 团队 有 益 的 事 
情 对 其 他 人 或 者 团队 也 有 益 。 但 愿 读者 依据 目前 所 学 可 以 得 出 : 程序 员 拿 到 产品 说 明 书 就 立 
即 开始 编制 代码 ， 而 不 必 开 发 更 详细 的 计划 并 分 发 出 去 审查 是 错误 的 。 测试 员 拿 到 测试 计划 
马上 坐 下 来 想 出 测试 用 例 并 开始 测试 ， 也 应 该 视 为 错误 的 做 法 。 如 果 软 件 测 试 员 指 望 项 目 经 
理 和 程序 员 更 加 规范 ， 向 他 们 灌输 一 些 方法 ， 按 照 规 则 来 使 开发 过 程 更 加 顺利 进行 ， 这 种 想 
法 也 是 错误 的 。 

有 条 不 率 地 仔细 计划 测试 用 例 ， 是 达成 目标 的 必由之路 。 这 样 做 的 重要 性 有 如 下 4 条 原因 : 

。 组 织 。 即 使 在 小 型 软件 项 目 上 ， 也 可 能 有 数 千 个 测试 用 例 。 测 试用 例 的 建立 可 能 需要 一 

些 测 试 员 经 过 几 个 月 甚至 几 年 时 间 。 正 确 的 计划 会 组 织 好 用 例 ， 以 便 全 体 测 试 员 和 其 他 
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项 目 小 组 成 员 有 效 地 审查 和 使 用 。 . 

。 重复 性 。 我们 已 经 知道 , 在 项 目 期 间 有 必要 多 次 执行 同样 的 测试 ,以 寻找 新 的 软件 缺陷 ， 
保证 老 的 软件 缺陷 得 以 修复 。 假 如 没有 正确 的 计划 ， 就 不 可 能 知道 最 后 执行 哪个 测试 用 
例 及 其 执行 情况 ， 以 便 重复 原 有 的 测试 。 

。 跟 踪 。 同 样 ， 在 整个 项 目 期 间 需 要 回答 一 下 这 些 重 要 的 问题 。 计 划 执 行 多 少 个 测试 用 
例 ? 在 软件 最 终 发 行 版 本 上 执行 多 少 个 测试 用 例 ? 多 少 个 通过 ， 多 少 个 失败 ? 有 被 忽略 
的 测试 用 例 吗 ? 等 等 。 如 果 测 试用 例 没有 计划 ， 就 不 能 回答 这 些 问题 。 

。 测试 (或 者 不 测试 ) 证 实 。 在 少数 高 风险 行业 中 ， 软 件 测试 小 组 必须 证 明确 实 执行 了 计 
划 执 行 的 测试 。 发 布 忽略 某 些 测试 用 例 的 软件 实际 上 是 不 合法 和 人 危险 的 。 正 确 的 测试 用 
例 计划 和 跟踪 提供 了 一 种 证 明 测 试 内 容 的 手段 。 


注意 不 要 把 测试 用 例 计划 和 第 二 部 分 “测试 基础 ”中 所 讲 的 测试 用 例 确 认 混 为 一 谈 。 
后 者 的 各 章 讲 述 如 何 测试 ， 如 何 选择 测试 用 例 ， 与 教会 程序 员 如 何 使 用 某 种 语言 编程 
有 些 类 似 。 测 试用 例 计 划 是 其 下 一 步 ， 类 似 于 程序 员 学 习 如 何 进行 高 级 的 设计 ， 如 何 
正确 对 工作 进行 书面 总 结 。 


特别 测试 

有 一 种 软件 测试 称 为 特别 测试 (ad hoc testing )， 描 述 在 没有 实际 计划 下 执行 测试 一 一 
没有 测试 用 例 计划 ， 有 时 其 至 没有 高 级 测试 计划 。 特 别 测 试 就 是 测试 员 坐 在 软件 面前 
开始 乱 需 键 盘 。 有 些 人 天 生长 于 此 道 ， 很 快 就 会 找 出 软件 缺陷 。 它 会 给 人 留 下 深刻 印 
象 ， 作 为 有 计划 测试 的 补充 ， 具 有 一 定价 值 一 一 例如 ， 在 缺陷 囊 炸 中 一 一 但 这 是 无 组 
织 的 不 可 重复 、 无 法 跟踪 ， 而且 完成 以 后 不 能 证 明 曾 做 的 事情 。 作 为 测试 员 ， 不 希望 
代码 以 特别 方式 编写 ， 客 户 也 不 希望 软件 仅仅 只 用 特别 方式 测试 过 。 


18.2 测试 用 例 计 划 综 述 


那么 测试 用 例 计划 在 众多 测试 方案 中 究竟 处 在 什么 位 置 ? 图 18-1 显 示 了 各 种 测试 计划 之 
间 的 关系 。 

我 们 已 经 熟悉 了 顶级 或 者 项 目 级 的 测试 计划 ， 并 了 解 了 创建 测试 计划 过 程 比 结果 文档 更 
重要 。 以 下 3 个 等 级 : 测试 设计 说 明 (test design specification ) 、 测 试用 例 说 明 (test case 
， Specification ) 和 测试 过 程 说 明 (test procedure specification ) 将 在 后 面 各 节 详 细 描述 。. 

如 图 18-1 所 示 ， 离 最 高 级 测试 计划 越 远 ， 侧 重点 就 越 倾向 于 产生 的 书面 文档 ， 而 不 是 创 
建 过 程 。 其 原因 是 这 些 计划 在 测试 员 每 天 或 者 每 小 时 实施 测试 的 基础 上 更 实用 。 后 面 将 讲 到 ， 
最 低级 计划 变 为 执行 测试 的 一 步 步 指示 ， 合 清晰、 简洁 和 有 组 织 成 为 关键 问题 一 怎样 实现 
目标 几乎 不 重要 。 

本 章 所 述 的 信息 来 自 于 软件 测试 文档 的 IEEE Std 829-1998 标 准 (由 http://standards.ieee.org 
得 到 )。 该 标准 被 许多 测试 小 组 采用 ， 有 意 无 意 地 作为 自己 的 测试 计划 文档 一 一 因为 它 代表 测试 
”计划 的 有 逻辑 性 和 通常 意义 上 的 方法 。 重 要 的 是 认识 到 除非 因为 测试 的 软件 类 型 或 者 集团 、 行 
业 的 规定 必定 遵守 该 标准 条 例 的 一 字 一 句 ， 否 则 应 该 把 该 标准 用 做 指南 而 不 是 标准 。 其 包含 的 
信息 和 推荐 的 方法 在 今天 和 1983 年 编制 时 一 样 适用 。 但 是 ， 曾 经 最 适合 于 书面 文档 记录 的 内 容 
今天 通常 在 电子 表格 或 者 数据 库 中 显得 更 好 、 更 有 效 。 本 章 后 面 将 给 出 一 个 这 样 的 例子 。 
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测试 计划 














测试 设计 说 明 测试 设计 说 明 | 逐渐 强调 创建 
| | 计划 的 过 程 
逐渐 强调 撰写 

测试 用 例 说 明 计划 的 过 程 


\ 


测试 过 程 说 明 | 


图 18-1 测试 文档 的 不 同等 级 相互 影响 ， 根 据 计 划 本 身 重要 还 是 创建 计划 的 过 程 重要 而 发 生变 化 


最 低 要 求 是 测试 小 组 应 该 创建 包含 IEEE 829 大 纲 中 所 述 信息 的 测试 计划 。 如 果 书 面 文档 
完全 适用 (难以 置信 )， 那 么 全 力 使 用 它 好 了 。 然 而 ， 如 果 认 为 中 心 数 据 库 更 有 效 ， 而 且 测 试 
小 组 有 时 间 和 预算 开支 来 开发 或 者 购买 ， 就 应 该 使 用 该 方法 。 这 根本 无 关 紧 要 。 要 紧 的 是 完 
成 工作 后 满足 了 测试 用 例 计划 的 4 个 目标 : 组 织 、 重 复 性 、 跟 踪 和 测试 证 实 。 


技巧 在 Web 上 可 以 找到 很 多 好 的 基于 IEEE 829 的 测试 计划 模板 。 只 要 搜索 “测试 计 
划 模 板 ” 就 可 以 找到 。 


18.2.1 测试 设计 


可 体 项 目 计划 在 非 党 高 的 等 级 上 编制。 它 把 软件 拆 分 为 具体 特性 和 可 测试 项 ， 并 将 其 分 
派 到 每 个 测试 员 头 上 ， 但 是 不 指明 这 些 特性 如 何 测试 。 测 试 计划 可 能 会 提 到 使 用 自动 化 测试 
或 者 使 用 黑 盒 测试 ， 或 者 使 用 白 盒 测试 ， 但 是 不 会 涉及 它们 在 哪里 和 如 何 使 用 的 具体 细节 。 
为 单个 软件 特性 定义 测试 方法 的 下 一 级 细节 是 测试 设计 说 明 。 

IEEE 829 称 测试 设计 说 明 为 “提炼 测试 方法 [在 测试 计划 中 定义 ]， 明 确 指 出 设计 包含 的 特 
性 及 其 相关 测试 。 如 果 要 求 完 成 测试 还 明确 指出 测试 用 例 和 测试 的 程序 ， 指 定 特性 通过 /失败 
的 规则 。” 
” ”测试 设计 说 明 的 目的 是 组 织 和 描述 针对 具体 特性 需要 进行 的 测试 。 然 而 ， 它 不 给 出 具体 
的 用 例 或 者 执行 测试 的 步 又 。 以 下 主题 来 自 于 IEEE 829 标 准 ， 说 明了 该 目的 ， 应 该 作为 测试 
设计 说 明 的 部 分 内 容 : 

。 标 识 符 。 用 于 引用 和 标记 测试 设计 说 明 的 唯一 标识 符 。 该 说 明 还 应 该 引用 整个 测试 计划 ， 

包含 引用 任何 其 他 计划 或 者 说 明 的 指示 。 
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。 要 测试 的 特性 。 测 试 设计 说 明 所 包含 的 软件 特性 描述 一 一 例如 ,， “计算 器 程序 的 加 法 功 

能 "、“ 写 字 板 程序 中 的 字体 大 小 选择 和 显示 ”和 “QuickTime 软 件 的 视频 卡 配置 测试 ”。 

该 部 分 还 将 明确 指出 作为 主要 特性 的 辅助 特性 需要 间接 测试 的 特性 。 例 如 ,， “文件 
打开 对 话 框 的 用 户 界面 虽然 不 是 本 计划 的 目标 ， 但 是 在 测试 读 写 功能 的 过 程 中 要 间接 
测试 加 载 和 保存 功能 ”。 

还 要 列 出 不 被 测试 的 特性 ， 即 计划 中 由 于 错误 分 析 包含 进来 的 特性 。 例如 ,，“ 因 为 
测试 计算 器 程序 的 加 法 功能 通过 自动 化 方式 发 送 击 键 信 息 到 程序 来 运行 ， 所 以 没有 屏幕 
用 户 界 面 的 间接 测试 。 用 户 界面 测试 在 单独 测试 设计 计划 中 说 明 一 一 CalcUI12345 中 。” 

。 方 法。 描述 测试 软件 特性 的 通用 方法 。 如 果 在 测试 计划 中 列 出 方法 ， 就 应 该 进行 展开 ， 
描述 要 使 用 的 技术 ， 解 释 结 果 如 何 验证 。 

例如 ,“ 要 开发 测试 工具 顺序 读 写 预先 建 好 的 各 种 大 小 的 数据 文件 。 通 过 黑 盒 技术 
加 上 程序 员 提供 的 白 合 示例 确定 数据 文件 的 数目 、 大 小 和 包含 的 数据 。 通 过 文件 比较 . 
工具 逐 位 比较 保存 的 文件 和 源 文件 来 确定 测试 通过 还 是 失败 。” 

。 测试 用 例 确认 。 对 用 于 检查 特性 的 具体 测试 用 例 的 高 级 描述 和 引用 。 它 应 该 列 出 所 选 的 
等 价 划 分 ， 并 提供 测试 用 例 的 引用 信息 以 及 用 于 执行 测试 用 例 的 程序 。 例 如 : 

检查 最 大 可 能 数值 测试 用 例 ID#15326 

检查 最 小 可 能 数值 ”测试 用 例 ID#15327 

检查 几 个 2 的 乘 方 间 隧 值 ”测试 用 例 ID#15328 

”重要 的 是 该 部 分 不 定义 实际 测试 用 例 值 。 对 于 审查 测试 设计 说 明 中 测试 范围 的 人 来 
说 ， 等 价 划分 的 描述 远 比 具体 数值 有 用 。 

。 通 过 /失败 规则 。 描 述 测试 特性 的 通过 和 失败 由 什么 构成 。 哪 些 可 以 接受 ， 哪 些 不 能 接 
受 。 这 可 能 是 非常 简单 和 明确 的 一 -通过 是 指 当 执行 全 部 测试 用 例 时 没有 发 现 软件 缺 
陷 ; 也 可 能 是 令 人 困惑 的 一 一 失败 是 指 10% 以 上 测试 用 例 没 有 通过 。 然 而 ， 无 疑 总 应 该 
有 什么 构成 特性 的 通过 和 失败 。 


骨 溃 就 是 失败 

笔者 曾经 参加 了 一 个 项 目 ， 该 项 目 用 外 包 测 试 公司 对 多 媒体 程序 进行 配置 测试 。 
这 并 非 最 好 的 选择 ， 但 当时 除 此 之 外 没有 更 好 的 选择 。 为 了 保证 测试 工作 顺利 进行 ， 
详细 的 测试 设计 说 明 、 测 试用 例 说 明和 测试 的 程序 都 提交 给 了 外 包公 司 ， 以 免 哪 些 要 
测试 、 哪 些 不 要 测试 出 现 异议 。 | 

几 周 过 去 了 ， 测 试 似乎 进展 顺利 一 一 太 顺 利 了 一 一 某 一 天 项 目的 测试 负责 人 打 电 
话 来 了 。 他 报告 他 的 小 组 几 周 来 的 发 现 不 是 很 多 ， 刚 才 出 现 了 系统 挂 起 现象 ， 询 问 是 
否 应 该 报告 在 文档 清单 之 外 的 软件 缺陷 。 当 问 及 原因 时 ， 他 说 由 于 他 的 小 组 第 1 天 开 
冯 测 试 时 个 热 发 现 这 些 大 白 色 框 显示 菜 种 “通用 保护 错误 ”。 他 们 想 忽略 这 些 提示 信 

， 但 是 最 后 PC 屏幕 上 变 成 一 片刻 色 ， 显 示 另 一 个 看 不 懂 的 严重 失败 错误 提示 信息 
他 们 被 近 重 新 启动 机 器 ， 由 于 这 个 具体 错误 没有 作为 失败 准则 列 出 ， 因此 他 不 能 确定 
这 是 否 重 要 ， 是 否 应 该 检查 。 

这 个 事情 的 意义 说 明 不 能 假定 另外 一 个 测试 员 也 会 按照 你 自己 的 方式 来 看 待产 
品 。 有 时 你 可 能 要 在 测试 用 例 中 明确 定义 一 一 前 渍 是 不 能 接受 的 。 
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18.2.2 测试 用 例 


第 4~7 章 讲述 了 软件 测试 的 基础 一 一 分 解说 明 书 、 代 码 和 软件 以 获得 用 最 少 测试 用 例 来 有 
效 测 试 软件 的 目的 。 这 些 章节 中 没有 讨论 的 是 如 何 记录 和 编写 创建 的 用 例 。 如 果 你 已 经 开始 
进行 一 些 软件 测试 了 ， 就 可 能 实验 过 各 种 想法 和 格式 。 本 节 将 讲述 编写 测试 用 例 的 有 关内 容 ， 
指出 将 要 考虑 的 更 多 选择 。 

IEEE 829 标 准 称 测试 用 例 说 明 为 “编写 用 于 输入 的 实际 数值 和 预期 输出 结果 数值 。 测 试 
用 例 还 明确 指出 使 用 具体 测试 用 例 产生 的 测试 程序 的 任何 限制 。” 

测试 用 例 细节 基本 上 应 该 清楚 地 解释 要 向 软件 发 送 什么 值 或 者 条 件 ， 以 及 预期 结果 。 它 
可 以 由 一 个 或 多 个 测试 用 例 说 明 来 引用 ， 也 可 以 引用 多 个 测试 程序 。IEEE 829 标 准 还 列 出 了 
其 他 应 该 包含 在 内 的 重要 信息 : 

。 标 识 符 。 由 测试 设计 过 程 说 明和 测试 程序 说 明 引 用 的 唯一 标识 符 。 

。 测试 项 。 描 述 被 测试 的 详细 特性 、 代 码 模 块 等 ， 应 该 比 测试 设计 说 明 中 所 列 的 特性 更 加 

具体 。 如 果 测 试 设计 说 明说 “计算 器 程序 的 加 法 功能 ” ， 那 么 测试 用 例 说 明 会 说 “加 法 

运算 的 上 限 溢 出 处 理 " 。 它 还 要 提供 产品 说 明 书 的 引用 信息 或 者 测试 用 例 所 依据 的 其 他 

设计 文档 。 

。 输入 说 明 。 该 说 明 列举 送 到 软件 执行 测试 用 例 的 所 有 输入 内 容 或 者 条 件 。 如 果 测 试 计算 

器 程序 ， 输 入 说 明 可 能 简单 到 1+1; 如 果 测 试 移动 电话 交换 软件 ， 输 入 说 明 可 能 是 成 百 

. 上 千 种 输入 条 件 ; 如 果 测 试 基于 文件 的 产品 ， 输 入 说 明 可 能 是 文件 名 和 内 容 的 描述 。 

。 输 出 说 明 。 描 述 进行 测试 用 例 预期 的 结果 。1+1 等 于 2 吗 ? 在 移动 电话 软件 中 上 千 个 输 

出 变量 设置 正确 吗 ? 加 载 文件 的 全 部 内 容 和 预想 的 一 样 吗 ? 

。 环境 要 求 。 环 境 要 求 是 指 执行 测试 用 例 必 要 的 硬件 软件、 测试 工具 、 实 用 工具 、 人 员 等 。 

。 特殊 过 程 要 求 。 描 述 执 行 测试 必须 做 到 的 特殊 要 求 。 测 试 写字 板 程 序 也 许 不 需要 任何 特 

殊 条 件 ， 但 是 测试 核电 站 软件 就 有 特殊 要 求 。 

。 用 例 之 间 的 依赖 性 。 第 1 章 “ 软 件 测试 的 青 景 。 中 讲述 了 _ 个 导致 美国 豚 天 局 火 尾 极地 

登陆 者 号 探测 器 在 火星 上 撞 毁 的 软件 缺陷 。 这 是 一 个 用 例 之 间 依 赖 性 未 形成 文档 的 好 例 

子 。 如 果 一 个 测试 用 例 依赖 于 其 他 用 例 ， 或 者 受 其 他 用 例 的 影响 ， 就 应 该 在 此 说 明 。 

感到 慌 了 吧 ? 如 果 按 照 这 种 推荐 的 文档 格式 ， 对 于 每 一 个 标明 的 测试 用 例 至 少 都 要 写 上 
一 页 描述 文字 。 数 千 个 测试 用 例 可 能 要 形成 儿 千 页 文档 。 编 写 完 成 该 文档 ， 整 个 项 目 可 能 就 
耽误 了 。 

这 是 要 把 IEEE 829 标 准 当做 指南 而 不 是 要 必须 逐 字 遵循 的 另 一 个 原因 一 一 除非 必须 这 样 
做 。 许 多 政府 项 目 和 某 些 行业 要 求 按照 此 规格 编写 测试 用 例 ， 但 是 在 大 多 数 情况 下 可 以 采用 
简便 方法 。 

采用 简便 方法 并 不 是 说 放弃 或 者 忽视 重要 的 信息 一 -而 是 指 意 在 找 出 一 个 更 有 效 的 交流 方 
法 把 这 些 信息 进行 精简 压缩 。 例 如 ， 限 制 用 书面 段落 形式 表述 测试 用 例 没 有 什么 道理 。 图 18-2 
给 出 了 一 个 打印 机 兼容 性 无 线 表 的 例子 。 

无 线 表 的 每 一 行 是 一 个 测试 用 例 ， 有 自己 的 标识 符 。 伴 随 测 试用 例 的 所 有 其 他 信息 一 一 测 
试 项 、 输 入 说 明 、 输 出 说 明 、 环 境 要 求 、 特 殊 要 求 和 依赖 性 一 一 似乎 对 所 有 这 些 用 例 都 通用 ， 
可 以 编写 一 次 ， 附 加 到 表格 中 。 审 查 测试 用 例 的 人 可 以 快速 看 完 该 信息 ， 然 后 审查 表格 检查 
其 覆盖 范围 。 
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黑白 
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彩色 
彩色 
彩色 
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高 质 
中 等 
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LaserJet IV 
图 18-2 测试 用 例 可 以 用 无 线 表 或 者 有 线 表 的 形式 表达 


表述 测试 用 例 的 其 他 选择 有 简单 列表 、 大 纲 其 至 诸如 状态 表 或 数据 流程 图 之 类 的 图 表 。 
请 记 住 ， 测 试 员 在 设法 与 他 人 交流 测试 用 例 时 ， 应 该 使 用 最 有 效 的 方法 。 发 挥 创造 性 ， 但 是 
要 讲求 实际 ， 不 要 偏离 编写 测试 用 例 的 目的 。 


，18.2.3 测试 程序 


编写 完 测 试 设计 和 测试 用 例文 档 之 后 ， 余 下 的 是 要 执行 测试 用 例 的 程序 。IEEE 829 标 准 
称 测试 程序 (test procedure) 说 明 为 “明确 指出 为 实现 相关 测试 设计 而 操作 软件 系统 和 试验 
具体 测试 用 例 的 全 部 步骤 "。 
测试 程序 或 者 测试 脚本 (test script) 说 明 详细 定义 了 执行 测试 用 例 的 每 一 步 操作 。 以 下 
是 需要 定义 的 内 容 : 。 
。 标识 符 。 把 测试 程序 与 相关 测试 用 例 和 测试 设计 捆绑 在 一 起 的 唯一 标识 符 。 
。 目的 。 程 序 的 目的 以 及 将 要 执行 的 测试 用 例 的 引用 信息 。 
。 特殊 要 求 。 执 行程 序 所 需 的 其 他 程序 、 特 殊 测 试 技术 或 者 特殊 设备 。 
。 程序 步骤 。 执 行 测试 的 详细 描述 : 
。 日志 。 指 出 用 什么 方式 、 方 法 记录 结果 和 现象 。 
。 设置 。 说 明 如 何 准备 测试 。 
。 启动 。 说 明 用 于 启动 测试 的 步骤 。 
。 程序 。 描 述 用 于 运行 测试 的 步 允 。 
。 度量 。 描 述 如 何 判断 结果 一 一 例如 用 秒表 或 者 肉眼 判断 。 
。 关闭 。 说 明 由 于 意外 原因 挂 起 测试 的 步 又 。 
。 重启 。 告 诉 测试 人 员 如 果 出 现 故 障 或 关 者 关闭 以 后 如 何在 恰当 的 时 候 重 启 测试 。 
。 终止 。 描 述 测试 正常 停止 的 步骤 。 
。 重 置 。 说 明 如 何 把 环境 恢复 到 测试 前 的 状态 。 
。 偶然 事件 。 说 明 如 何 处 理 计划 之 外 的 情况 。 
“对 于 测试 程序 只 说 “尝试 执行 所 有 测试 用 例 并 报告 发 现 的 问题 ……” 是 不 够 的 。 这 虽然 
简单 、 容 易 ， 但 是 无 法 告诉 新 来 的 测试 员 如 何 进 行 测试 。 这 也 不 能 重复 而 且 无 法 证 明 哪 些 步 
骤 执 行 了 。 使 用 详细 的 程序 说 明 ， 要 测试 什么 、 如 何 测试 都 一 目 了 然 。 图 18-3 给 出 了 一 个 
Windows 计 算 器 程序 测试 程序 说 明 的 虚构 例子 片段 。 
细节 和 真实 
有 一 名 老话 “做 什么 都 要 适可而止 ”特别 适用 于 测试 用 例 计划 。 不 要 忘 了 它 的 4 个 目标 : 
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identifler: WinCalcProc98.1872 


Purpose: This procedure describes the steps necessary tp execute 
the Addition function test cases WinCalc98.0051 through 
WinCalc98.0185. 


Speclal Requirements: No special hardware or software is required to 
run this procedure other than what is outiined in the individual test 
Cases. 


Procedure Steps: 


Log: The tester will use WordPad with the Testiog template 
as the means for taking notes while performing this procedure. All the 
fields marked as required must be filled in. The Mantis bug 
System will be used to record any problems found while running the 
procedure. 

Setup: The tester must install a clean copy of Windows 98 
on his or her machine prior to running this procedure. Use the test tools 
WipeDisk and Cione before installing the latest version of Windows 98. 
Refer to the test support doc titlied “Starting Fresh” for more information 
on these tools. 

Start: 

Boot up Windows 98. 
Click the Start Button. 


Select Programs. 
Select 


Accessories. 
Select Calculator. 


Procedure: Fer each test case identified above, 
enter the test input data using the keyboard (not the onscreen 
numbers) and compare the results to the specified output. 

Measure: ... 





图 18-3 测试 程序 的 虚构 例子 说 明 可 以 包含 多 少 细节 


组 织 、 重 复 性 、 跟 踪 和 测试 证 实 。 开 发 测试 用 例 的 软件 测试 员 要 力争 达到 这 些 目标 一 一 但 是 
达到 的 程度 取决 于 行业 、 公 司 、 项 目 和 小 组 的 具体 情况 。 通 常 不 太 可 能 需要 按照 最 细致 的 程 
度 编写 测试 用 例 ， 但 愿 不 要 参加 让 人 无 喘息 之 机 的 随意 的 项 目 ， 这 些 项 目 中 根本 不 需要 编写 
任何 文档 。 最 可 能 的 情况 是 编写 工作 介 于 这 两 者 之 间 。 

诀窍 是 找 出 最 合适 的 详细 程度 。 参 见 图 18-3 所 示 的 测试 程序 ， 它 要 求 在 PC 机 上 安装 
Windows 98 来 执行 测试 。 程 序 在 其 设置 部 分 声明 需要 Windows 98 一 一 但 是 未 声明 Windqdws 98 
的 哪个 版 本 。 用 Winows98 SE 或 不 同 服务 更 新 包 的 Windows 98 会 有 什么 不 同 ? 测试 程序 需要 
进行 更 新 来 反映 Windows 98 的 不 同 吗 ? 为 了 避免 这 个 问题 ， 版 本 可 能 被 省 略 ， 取 而 代 之 的 是 
“可 用 的 最 新 版 本 ”， 但 是 假如 在 产品 开发 周期 中 出 现 新 版 本 会 怎样 ? 测试 员 要 在 项 目 中 期 更 
换 操 作 系 统 版 本 吗 ? 

另 一 个 问题 是 程序 告诉 测试 员 只 能 安装 Windows 98 的 “干净 副本 ”， 于 净 副 本 是 指 什么 ? 
程序 列 出 了 设置 期 间 要 用 到 的 一 些 工具 : WipeDisk 和 Clone, 并 提供 给 测试 员 如 何 使 用 这 些 工 
具 的 参考 文档 的 出 处 。 这 些 过 程 步骤 是 否 应 该 更 详细 一 些 ， 解 释 清楚 从 哪里 得 到 该 文档 和 那 
些 工 具 ? 如 果 以 前 安装 过 操作 系统 ， 就 会 知道 那 是 一 个 复杂 的 过 程 ， 要 求 安装 者 回答 许多 问 





” 题 ， 做 许多 选择 。 该 程序 或 者 相关 程序 是 否 应 该 详细 到 这 一 级 ? 如果 不是 ， 如 何 得 知 测试 运 





行 于 何 种 配置 ? 如 果 是 ， 当 安装 过 程 变化 时 ， 就 可 能 有 上 百 个 测试 程序 要 更 新 。 太 麻烦 了 。 
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遗憾 的 是 ， 没 有 一 个 单一 的 、 正 确 的 答案 。 极 其 详细 的 测试 用 例 说 明 减 少 了 随意 性 ， 使 
测试 能 很 好 地 重复 ， 使 得 无 经 验 的 测试 员 能 按照 预定 的 设想 执行 测试 。 另 一 方面 ， 编 写 如 此 
细致 的 测试 用 例 说 明 要 花费 相当 多 的 时 间 和 精力 ， 增 加 了 更 新 的 难度 。 并 且 由 于 细节 繁多 ， 
阻 汪 了 测试 工作 ， 造 成 执行 测试 时 间 变 长 。 

开始 编写 测试 用 例 时 ， 最 好 的 做 法 是 采用 当前 项 目的 标准 。 如 果 油 试 新 型 医疗 设备 ， 测 
试 程序 似乎 应 该 比 测试 视频 游戏 详细 得 多 。 如 果 为 新 项 目 专门 建立 测试 程序 ， 或 者 介绍 如 何 
编写 测试 计划 、 测 试用 例 和 测试 程序 ， 参 考 IEEE 829 标 准 定 义 的 格式 ， 尝 试 一 些 例子 ， 看 什 
么 最 符合 自己 、 小 组 和 项 目的 要 求 。 


18.3 测试 用 例 组 织 和 跟踪 


在 建立 测试 用 例文 档 时 应 该 考虑 的 一 个 问题 是 如 何 组 织 和 跟踪 信息 。 想 一 想 测试 员 或 者 
测试 小 组 应 该 能 够 回答 的 下 列 问 题 : 

。 计划 执行 哪些 测试 用 例 ? 

。 计划 执行 多 少 个 测试 用 例 ? 执 行 需要 多 少时 间 ? 

。 能 否 挑 选 出 测试 集 (test suites， 相 关 测 试用 例 组 ) 测试 某 些 特性 或 者 软件 部 分 ? 

。 在 执行 测试 用 例 时 ， 能 否 记 录 哪 一 个 通过 、 哪 一 个 炎 败 ? 

。 在 失败 的 测试 用 例 中 ， 哪 些 在 最 近 的 一 次 执行 时 也 失败 了 ? 

。 最 近 一 次 执行 测试 用 例 时 通过 的 百分比 是 多 少 ? 

这 些 重 要 问题 的 例子 在 多 数 项 目的 过 程 中 要 反复 地 问 。 第 20 章 “成 效 评价 ”将 详细 讨论 
数据 收集 和 统计 。 有 眼前 先 考虑 管理 测试 用 例 和 跟踪 执行 结果 所 需 的 一 些 过 程 。 管 理 和 跟踪 系 
统 基本 上 有 以 下 4 种 : 

e。 和 赁 脑子 记 。 绝 对 不 要 考虑 这 一 种 ， 即 使 对 于 最 简单 的 项 目 也 不 例外 ， 除 非 测试 的 软件 仅 

限于 个 人 使 用 ， 没 有 理由 跟踪 测试 。 不 能 这 样 做 。 

。 书面 文档 。 对 于 非常 小 的 项 目 可 以 用 纸 笔 来 管理 测试 用 例 。 检 查 清单 的 表格 和 框图 得 到 

了 有 效 利用 。 这 显然 是 管理 和 搜索 数据 的 低劣 方法 ,但 是 它 提供 了 一 个 非常 重要 的 物 

证 一 一 包含 测试 员 亲 笔 签字 注 明 执 行 测试 的 书面 检查 清单 ， 在 法 律 上 是 证 明 测 试 执行 过 

的 极 佳 证 据 。 

。 电 子 表格 。 使 用 电子 表格 是 跟踪 测试 用 例 非常 奏效 的 流行 方法 。 图 18-4 给 出 了 一 个 这 样 的 

例子 。 电 子 表 格 在 一 个 地 方 保存 测试 用 例 的 全 部 细节 ， 从 而 可 以 提供 测试 状态 的 一 目 了 

然 的 查看 方式 。 这 种 方法 容易 使 用 ， 比 较 容易 建立 ， 可 以 为 测试 提供 很 好 的 跟踪 和 证 明 。 

。 自 定义 数据 库 。 跟 踪 测 试用 例 的 理想 方法 是 使 用 测试 用 例 管理 工具 (Test Case 

Management Tool) ， 一 种 为 处 理 测试 用 例 而 专门 编程 设计 的 数据 库 。 已 经 有 许多 完成 这 

项 任务 的 商业 应 用 程序 。 访 问 第 22 章 “软件 测试 员 的 职业 ”中 所 列 的 一 些 Web 链 接 ， 可 

以 得 到 详细 信息 和 其 他 测试 员 的 推荐 。 如 果 有 兴趣 建立 自己 的 跟踪 系统 ， 诸 如 Claris 

FileMaker Pro, Microsoft Access 之 类 的 数据 库 软 件 提 供 几 乎 完全 拖 放 式 的 数据 库 建 立方 

法 ， 仅 用 几 个 小 时 就 可 以 建立 反映 IEEE 829 标 准 的 数据 库 。 在 此 基础 上 可 以 建立 能 够 回 

答 任何 有 关 测 试用 例 问 题 的 报表 和 查询 。 | 

重要 的 是 记 住 ， 测 试用 例 的 数目 很 容易 有 数 千 之 多 ， 如 果 没 有 措施 来 管理 ， 测 试 员 很 快 
就 会 被 淹没 在 文档 的 海洋 中 。 真 正 需要 的 是 一 眼看 出 如 下 基本 问题 的 答案 : “明天 我 要 测试 什 
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么 ?需要 执行 多 少 个 测试 用 例 ?” 


Test Pass Test Pass Test Pass 
10/15/1997 11/30/1997 .1/5/1998 Bug ID List 





18.4 小 结 


又 该 提醒 仔细 计划 测试 用 例 的 4 个 原因 了 : 组 织 、 重 复 性 、 跟 踪 和 测试 证 实 。 这 样 强调 得 
还 不 够 ， 因 为 人 很 容易 犯 懒 ,忽视 非常 重要 的 测试 员工 作 一 一 记录 下 所 做 的 事 。 

用 酒 桌 和 餐巾 纸 背 面 深 草地 进行 工作 的 工程 小 组 ， 他 们 设计 和 检测 的 汽车 没有 人 愿意 开 ; 
由 特别 测试 人 员 组 成 的 小 组 来 测试 核电 站 控制 软件 ， 该 核电 站 附近 没有 人 愿意 住 。 希 望 见 到 
的 是 建造 和 检测 这 些 系统 的 工程 师 们 应 用 良好 的 工作 实践 经 验 ， 用 文档 记录 下 他 们 的 工作 ， 
并 且 保 证 按 原 定 计划 工作 。 

测试 新 手 也 许 不 能 控制 项 目 所 用 的 计划 和 文档 的 等 级 ， 但 是 应 该 努力 使 自己 的 工作 尽 可 
能 富有 成 效 。 找 出 什么 必要 ， 什 么 不 必要 ， 调 查 研 究 运 用 技术 的 方式 以 改进 进程 ， 但 是 不 要 
投机 取 巧 。 这 是 专业 和 蛮 干 的 区 别 。 

本 章 和 17 章 讲述 计划 和 编写 要 测试 的 内 容 。 以 下 两 章 将 讲述 如 何 记 下 测试 结果 ， 如 何 宣 
布 发 现 的 软件 缺陷 。 


18.5 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 
1. 测试 用 例 计划 的 4 个 理由 是 什么 ? 
2. 什么 是 特别 测试 ? 
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3. 测试 设计 说 明 的 目的 是 什么 ? 

4. 什么 是 测试 用 例 说 明 ? 

5. 除 了 传统 的 文档 ， 可 以 用 什么 方式 表述 测试 用 例 ? 
6. 测试 程序 说 明 的 目的 是 什么 ? 

7. 编写 测试 程序 应 该 达到 何 种 详细 程度 ? 





第 19 章 
报告 发 现 的 问题 


如 果 回 头 审视 软件 测试 的 全 貌 ， 就 会 发 现 它 有 3 个 主要 任务 : 测试 计划 、 实 际 测试 ， 以 及 
本 章 的 标题 一 一 报告 发 现 的 问题 。 

从 表面 上 看 ， 似 乎 报告 发 现 的 问题 是 三 者 之 中 最 简单 的 。 与 计划 测试 包含 的 工作 和 有 效 
寻找 软件 缺陷 必 备 的 技巧 相 比 ， 宣 布 发 现 某 些 错误 肯定 是 省 事 省 力 的 工作 。 实 际 上 ， 这 也 许 
是 软件 测试 员 要 完成 的 最 重 训 一 一 有 时 也 是 最 困难 一 一 的 任务 。 

本 章 将 讲述 为 什么 报告 发 现 的 问题 是 这 么 艰巨 的 任务 ， 如 何 利用 各 种 技术 和 工具 确保 找 
出 的 软件 缺陷 被 清楚 地 表达 ， 并 且 得 到 应 有 的 最 佳 修复 机 会 。 

本 章 重 点 包括 : 

e 为 什么 所 有 软件 缺陷 不 一 定 都 能 修复 

。 如 何 使 找 出 的 软件 缺陷 尽量 得 以 恢复 

e 可 以 用 哪些 技术 分 离 和 再 现 软件 缺陷 

e 软件 缺陷 的 生命 从 出 现 到 消失 像 什 么 

e 如 何 手工 或 者 使 用 数据 库 跟 踪 软 件 缺 陷 

四 眼 天 鸡 报告 问题 

四 眼 天 鸡 住 在 树林 里 ， 一 天 突然 有 一 个 橡树 果 掉 在 它 头 上 。 这 可 把 它 吓 坏 了 ， 以 

致 浑身 发 拌 。 它 拌 得 太 厉 害 ， 身 上 的 毛 都 掉 了 一 半 。 

“救命 | 救命 | 天 塌 了 ! 我 一 定 要 去 告诉 国王 ! ”四 了 眼 天 鸡 说 。 

因此 ， 它 满怀 恐惧 去 告诉 国王 。 路 上 碰 到 了 公鸡 Penny 。 

“你 要 去 哪儿 ， 四 眼 天 鸡 ? ”公鸡 Penny 问 。 

“ 啊 ， 救 命 ! 天 圳 了 | ”四 眼 天 鸡 说 。 

“你 怎么 知道 ? ”公鸡 Penny 问 。 \ 

“我 亲眼 所 见 、 亲 耳 所 闻 ， 有 一 块 天 调 到 我 头 上 了 1 ”四 眼 天 鸡 说 。 
“可 怕 ， 真 是 太 可 怕 了 ! 我 们 得 赶紧 。” 公 鸡 Penny 说 。 因 此 ， 它 们 用 最 快 的 速度 
跑 开 了 。 | 

在 这 个 儿童 故事 片段 中 ,四 眼 天 鸡 在 意外 发 生 时 大 吃 一 惊 ， 然 后 就 疯 一 般 地 逃跑 ， 

向 全 世界 大 声 宣布 想像 的 事情 正在 发 生 。 想 像 一 下 四 眼 天 鸡 要 是 发 现 了 一 个 严重 的 软 
件 缺 陷 会 怎样 。 想 想 假如 项 目 经 理 或 者 程序 员 看 到 四 眼 天 鸡 和 公鸡 Penny 这 样 逃 跑 会 
怎样 做 ? 这 个 简单 的 寓言 故事 和 软件 测试 存在 许多 有 趣 的 类 似 之 处 。 在 阅读 本 章 以 下 
内 容 时 请 记 住 这 一 点 。 
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19.1 设法 修复 软件 缺陷 


早 在 第 3 章 “ 软 件 测试 的 实质 ”中 讲 过 ， 不 管 计划 和 执行 测试 多 么 努力 ， 并 非 所 有 软件 缺 
陷 发 现 了 都 能 修复 。 有 些 可 能 完全 忽略 ， 还 有 一 些 可 能 被 推迟 (deferred or postponed) 到 软 
件 后 续 版 本 中 修复 。 此 时 ， 想 到 这 个 原则 的 可 能 性 可 能 会 令 人 泄气 其 至 惊 忍 。 但 愿 现在 对 软 
件 测 试 有 了 更 多 了 解 之 后 ， 能 够 明白 为 什么 不 修复 所 有 的 软件 缺陷 是 一 个 事实 。 

第 3 章 列举 了 不 修复 软件 缺陷 的 原因 如 下 : 
。 没有 足够 的 时 间 。 在 任何 一 个 项 目 中 ,通常 是 软件 功能 太 多 ， 而 代码 编写 人 员 和 软件 测 
试 人 员 太 少 , 而且 进 度 中 没有 留 出 足够 的 空间 来 完成 项 目 。 假 如 你 正在 制作 税务 处 理 程 
序 ，4 月 15 日 〈 赶 在 应 付 税务 检查 之 前 ， 译 者 注 ) 是 不 可 更 改 的 交付 期 限 一 一 必须 按时 
完成 软件 。 
。 不 算 真正 的 软件 缺陷 。 也 许 有 人 会 说 :“ 这 不 算 软 件 缺陷 ， 而 是 一 项 功能 .” 很 多 情况 下 ， 
理解 错误 、 测 试 错误 或 者 说 明 书 变更 会 把 可 能 的 软件 缺陷 当做 功能 来 对 待 。 
。 修复 的 风险 太 大 。 和 遗憾 的 是 ， 这 些 情形 很 常见 。 软 件 本 身 是 脆弱 的 、 难 以 理 清 头 绪 ， 有 
点 像 一 团 乱 麻 ， 修 复 一 个 软件 缺陷 可 能 导致 其 他 软件 缺陷 出 现 。 在 紧迫 的 产品 发 布 进度 
压力 下 ， 修 改 软件 将 冒 很 大 的 风险 。 不 去 理 皮 已 知 的 软件 缺陷 ， 以 避免 造成 新 的 、 未 知 
的 缺陷 的 做 法 也 许 是 安全 之 道 。 

e 不 值得 修复 。 虽 然 有 些 不 中 昕 ， 但 是 事实 。 不 常 出 现 的 软件 缺陷 和 在 不 常用 功能 中 出 现 

的 软件 缺陷 是 可 以 放 过 的 ， 可 以 躲 过 《workarounds ) 和 用 户 有 办 法 预防 或 避免 的 软件 
缺陷 通常 不 用 修复 。 这 些 都 要 归结 为 商业 风险 决策 。 

另外 应 该 加 入 到 该 清单 中 的 一 项 是 通常 可 以 理解 为 上 述 几 项 的 成 因 : 

。 无 效 的 软件 缺陷 修复 报告 。 测 试 员 没 有 建立 足够 强大 的 用 例 来 使 特定 软件 缺陷 得 以 修 

复 。 其 结果 是 软件 缺陷 被 误 认为 不 是 软件 缺陷 ， 认 为 软件 缺陷 不 够 重要 到 要 推迟 软件 
产品 发 布 ， 认 为 修复 风险 太 大 ， 或 者 仅仅 简单 地 以 为 不 值得 修复 。 

与 四 眼 天 鸡 案例 一 样 ， 四 处 乱 喊 天 塌 了 通常 不 是 交流 问题 的 方法 〈 当 然 ， 除 非 天 确实 真 
的 要 塌 了 ， 显 然 这 就 是 有 效 的 方法 )。 软 件 测试 中 发 现 的 大 多 数 软 件 缺 陷 都 不 会 这 么 夸张 。 要 
求 软件 测试 员 简 洁 、 清 晰 地 把 发 现 的 问题 告诉 决定 修复 /不 修复 的 小 组 ， 使 其 得 到 所 需 的 全 部 
信息 来 决定 采取 何 种 措施 。 


注意 因为 所 有 的 软件 开发 模式 不 同和 小 组 的 不 国定 性 ， 所 以 说 出 究竟 怎样 的 修复 /不 
修复 决定 过 程 适 用 于 具体 小 组 或 者 项 目 是 不 可 能 的 。 在 许多 情况 下 ， 决 定 权 在 项 目 经 
理 手 上 ; 还 有 一 些 情 况 ， 决 定 权 在 程序 员 手 上 ; 还 有 的 留 在 会 议 上 决定 。 

一 般 地 ， 有 一 些 人 或 者 团队 来 审查 报告 的 软件 缺陷 ， 判 断 是 否 修复 。 软 件 测试 提 
供 描述 软件 缺陷 的 信息 用 于 做 出 是 否 修复 的 决定 。 


软件 测试 员 不 必 像 律师 或 者 调解 争端 的 组 长 那样 ， 想 方 设 法 说 服 所 有 人 需要 修复 已 发 现 
的 软件 缺陷 。 以 平常 的 心态 以 及 基本 交流 的 技巧 就 可 以 应 付 很 多 情况 了 。 本 章 后 面 将 介绍 用 
于 软件 缺陷 记录 和 跟踪 的 各 种 系统 ， 但 是 眼前 先 看 一 下 报告 软件 缺陷 的 基本 原则 : 

。 尽 快报 告 软件 缺陷 。 这 虽然 在 前 面 多 次 讨论 ， 但 是 如 何 强 调 都 不 够 。 软 件 缺陷 发 现 得 越 

早 ， 在 进度 中 留 下 的 修复 时 间 就 越 多 。 假 定 在 软件 发 布 之 前 几 个 月 从 帮助 文件 中 找 出 一 

个 令 人 汗颜 的 拼写 错误 ， 该 软件 缺陷 修复 的 可 能 性 极 高 。 如 果 在 软件 发 布 之 前 几 个 小 时 
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发 现 同样 的 缺陷 ， 不 修复 的 可 能 性 更 大 。 图 19-1 在 图 形 上 显示 了 时 间 和 缺陷 修复 之 间 的 





关系 。 : 
严重 缺陷 
前 
当 、 
县 
权 
赴 
锤 
[Ey 小 缺陷 
项 目 开始 时 间 项 目 结束 
图 19-1 软件 缺陷 发 现 得 越 晚 ， 越 不 可 能 被 修复 ， 特 别 是 小 缺陷 
这 似乎 很 奇怪 一 一 不 管 今天 发 现 还 是 3 个 月 之 后 发 现 ， 软 件 缺 陷 就 是 缺陷 。 理 想 情 况 下 ， 


何 时 发 现 不 应 该 有 什么 关系 ,仅仅 与 软件 缺陷 的 内 容 有 关系 。 然 而 ， 实 际 上 修复 缺陷 的 风险 
随 着 时 间 的 推移 大 大 增加 ， 而 且 在 做 决定 过 程 中 的 分 量 不 断 加 重 。 
。 有 效 描述 软件 缺陷 。 假 定 你 是 程序 员 ， 接 到 测试 员 的 下 述 报告 : “无 论 何 时 在 登录 对 话 
框 中 输入 一 串 随 机 字符 ， 软 件 都 开始 进行 一 些 奇 怪 的 动作 ” 。 在 不 知道 随机 字符 是 什么 ， 
一 串 字 符 有 多 长 ， 产 生 什 么 奇怪 现象 的 前 提 下 ， 从 何 着 手 修复 这 个 软件 缺陷 呢 ? 


有 效 软件 缺陷 的 描述 

有 歼 款 陷 的 描述 如 下 所 示 : 

。 短 小 。 只 解释 事实 和 演示 、 描 述 软件 献 陷 必 需 的 细节 。 说 “一 串 随机 字符 ”不 

是 短小 。 给 出 说 明 问 题 的 一 系列 明确 步骤 。 如 果 不 止 一 组 输入 或 者 操作 导致 软 

件 缺 陷 ， 就 引用 一 些 例子 ， 特 别 是 能 够 帮助 程序 员 找 到 原因 的 方式 和 线索 。 要 

简短 ， 并 抓 住 要 点 。 

e 单 一 。 每 一 个 报告 只 针对 一 个 软件 缺陷 。 这 似乎 是 显而易见 的 ， 但 是 有 时 难以 

区 分 类 似 的 软件 缺陷 ， 在 忙于 拿 出 产品 时 很 容易 把 它们 混在 一 起 。 在 一 个 报告 

中 报告 多 个 软件 缺陷 的 问题 是 一 般 只 有 第 1 个 软件 缺陷 受到 注意 和 修复 一 而 其 

他 软件 扎 陷 被 忘记 或 者 忽视 。 分 别 跟踪 在 同一 个 报告 中 列 出 的 多 个 软件 缺陷 也 

是 不 可 能 的 (后 面 将 详 述 )。 

软件 缺陷 应 该 分 别 报告 ， 而 不 是 堆 在 一 起 ， 这 说 起 来 容易 ， 但 是 做 起 来 就 不 那么 
简单 。 请 看 如 下 缺陷 报告 :“ 联 机 帮助 文档 中 下 述 不 同 的 15 页 中 的 单词 拼写 错误 : ……” 
显然 ， 应 该 报告 15 个 单独 的 软件 缺陷 。 但 是 怎样 理解 “登录 对 话 框 不 接受 大 写字 母 输 
入 的 口令 或 者 登录 ID 号 ”? 这 是 1 个 还 是 2 个 软件 缺陷 ? 从 用 户 的 角度 看 ， 像 是 两 个 ， 
一 个 针对 口令 ， 另 一 个 针对 登录 ID。 但 是 在 代码 级 ， 这 也 许 是 一 个 问题 ， 程 序 员 没有 
正确 处 理 大 写字 母 。 
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快速 技巧 提示 。 当 出 现 疑 问 时 ， 单 个 地 报告 软件 缺陷 。 我 们 找 的 是 症状 而 不 是 病 
因 。 虽 然 几 个 软件 缺陷 可 能 最 终 查 明 是 同一 个 原因 ， 但 是 在 修复 之 前 是 不 知道 的 。 单 
独 报告 即使 有 错 ， 也 比 延 误 或 者 更 粳 粒 地 因为 和 其 他 缺陷 混在 一 起 而 忘记 修复 软件 缺 
陷 要 好 。 

e。 了 明显 并 通用 。 用 许多 复杂 、 迁 回 的 步 又 描述 的 软件 缺陷 的 一 个 特例 ， 得 到 修复 

的 机 会 较 小 ， 而 用 使 用 者 容易 看 懂 的 、 简 单 易 行 步 又 描述 的 软件 缺陷 的 一 个 特 
例 ， 得 到 修复 的 机 会 较 大 。 

报告 用 测试 工具 或 者 自动 化 工具 发 现 的 软件 缺陷 是 这 样 的 好 例子 。 自 动 化 工具 也 
许 运行 6 个 小 时 才 发 现 一 个 软件 缺陷 。 决 定 软件 缺陷 是 否 修复 的 项 目 经 理 可 能 会 犹 黎 ， 
要 不 要 修复 连续 筷 吉 键盘 6 个 小 时 才 出 现 的 软件 缺陷 。 如 果 花 一 点 时 间 分 析 工 具 的 结 
果 ， 就 会 发 现 不 用 花 6 个 小 时 一 一 只 要 10 个 常用 的 和 类 似 的 按键 操作 即 可 。 这 个 过 程 
称 为 分 离 软 件 缺 陷 。 自 动 化 工具 只 是 碰巧 在 运行 时 按 了 那些 键 。 要 想 使 这 个 软件 摧 陷 
引起 特别 注意 ， 软 件 报告 就 应 该 列 出 这 10 个 神奇 的 按键 ， 而 不 是 自动 化 工具 运行 得 到 
的 数 千 个 按键 。 

e 可 再 现 。 要 想得到 重视 ， 软 件 缺 陷 报 告 必须 展示 其 可 再 现 性 一 一 按照 预定 步骤 

可 以 使 软件 达到 缺陷 再 次 出 现 的 相同 状况 。 更 困难 但 是 更 有 趣 的 一 个 软件 测试 

领域 是 设法 分 离 和 再 现 看 起 来 像 是 软件 随机 的 行为 一 一 偶然 冲突 、 意 外 数据 前 

济 等 。 本 章 后 面 将 讲述 实现 该 目标 的 一 些 技术 。 一 旦 用 明显 和 通用 的 步骤 再 现 
了 软件 缺陷 ， 就 可 以 报告 了 。 


。 在 报告 软件 缺陷 时 不 要 做 评价 。 测 试 员 和 程序 员 之 间 很 容易 形成 对 立 关系 。 如 果 忘 了 原 
因 ， 可 参见 第 3 章 。 从 程序 员 或 者 开发 小 组 其 他 人 员 的 角度 看 ， 软 件 缺 陷 报告 是 软件 测 
试 员 对 他 们 的 工作 的 “成 绩 报 告 单 "， 因 此 需要 不 带 倾 向 性 、 个 人 观点 和 煽动 性 。 声 称 
“你 控制 打印 机 的 代码 很 糟糕 ， 根 本 无 法 工作 。 我 甚至 无 法 相信 你 在 送 来 测试 之 前 做 过 
一 点 检查 。” 的 报告 是 无 法 让 人 接受 的 。 软 件 缺 陷 报告 应 该 针对 产品 ， 而 不 是 具体 的 人 ， 
只 陈述 事实 。 避 免 幸 灾 乐 祸 、 哗 众 取 宠 、 个 人 倾向 、 自 负 、 责 怪 。 得 体 和 委婉 是 关键 。 
。 对 软件 缺陷 报告 跟踪 到 底 。 比 没有 找到 重要 软件 缺陷 更 糟糕 的 是 ， 发 现 了 一 个 重要 的 软 
件 缺 陷 ， 做 了 报告 ， 然 后 把 它 忘 掉 了 或 者 跟 玉 了 。 大 家 知道 ， 测 试 软件 是 一 个 艰苦 的 工 
作 ， 因 此 不 要 让 劳动 成 果 ， 即 找 出 的 软件 缺陷 被 忽视 掉 。 从 发 现 软件 缺陷 的 那 一 刻 起 ， 
测试 员 的 责任 就 是 保证 它 被 正确 地 报告 ， 并 且 得 到 应 有 的 重视 。 一 个 好 的 测试 员 发 现 并 
记录 许多 软件 缺陷 。 一 个 优秀 的 测试 员 发 现 并 记录 了 大 量 软件 缺陷 之 后 ， 继 续 监视 其 修 
复 的 全 过 程 。 本 章 后 面 将 更 详细 地 讲述 这 一 点 。 | 
这 些 原则 一 “尽快 报告 软件 缺陷 、 有 效 描 述 它们 、 在 报告 中 不 摊 杂 评论 以 及 对 报告 跟踪 到 
底 一 都 应 该 成 为 常事 。 这 些 原 则 几乎 可 以 运用 到 任何 交流 活动 中 。 尽 管 这 有 了 时 难以 做 到 ， 
但 是 在 匆忙 制作 产品 时 ， 要 记得 把 它们 运用 到 测试 中 。 然 而 ， 如 果 希 望 卓有成效 地 报告 软件 
缺陷 ,并 使 其 得 以 修复 ， 这 些 就 是 要 遵循 的 基本 原则 。 


19.2 分 离 和 再 现 软件 缺陷 


要 想 有 效 报告 软件 缺陷 ;就 需要 以 明显 、 通 用 和 可 再 现 的 形式 描述 它 。 在 许多 情况 下 这 
很 容易 。 假 定 有 一 个 画图 程序 的 简单 测试 用 例 ， 检 查 绘画 可 以 使 用 的 所 有 颜色 。 如 果 每 次 先 
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择 红色 ， 程 序 都 用 绿色 绘画 ， 这 就 是 明显 的 、 通 用 的 和 可 再 现 的 软件 缺陷 。 

但 是 如 果 这 个 颜色 错误 的 软件 缺陷 仅 在 执行 一 些 其 他 测试 用 例 之 后 出 现 ， 而 在 重新 启动 
机 器 之 后 直接 执行 专门 的 错误 用 例 时 不 出 现 这 些 缺 陷 ， 该 怎么 办 ? 假如 它 随机 出 现 或 者 只 是 
每 月 月 圆 之 时 出 现 ， 该 怎么 办 ? 最 好 有 一 条 警 大 。 

分 离 和 再 现 软件 缺陷 是 充分 发 挥 侦探 才干 的 地 方 ， 设 法 找 出 收缩 问题 的 具体 步 又 。 好 消 
息 是 ， 不 存在 随机 软件 缺陷 这 样 的 事 一 如果 建立 完全 相同 的 输入 和 完全 相同 的 环境 条 件 ， 
软件 缺陷 就 会 再 次 出 现 。 坏 消息 是 ， 验 明和 建立 完全 相同 的 输入 和 完全 相同 的 环境 条 件 要 求 
技巧 性 非常 高 ， 而 且 非 常 耗 时 。 一 旦 知道 了 答案 ， 就 显得 很 容易 。 当 不 知道 答案 时 ， 就 显得 
很 难 。 

注意 茉 些 测试 员 天 生 擅 长 分 离 和 再 现 软件 缺陷 。 他 们 可 以 找到 软件 献 陷 ， 非 常 迅速 

地 找 出 收缩 问题 的 具体 步骤 和 条 件 。 对 于 其 他 人 而 言 ， 这 种 技巧 要 经 过 寻找 和 报告 各 

种 类 型 的 软件 款 陷 的 实践 后 才能 得 到 。 要 想 成 为 于 有 成 效 的 软件 测试 页 ， 这 些 是 必须 

掌握 的 技巧 ， 因 此 要 抓 住 每 一 个 可 能 的 机 会 去 分 离 和 再 现 软件 缺陷 。 


如 果 找 到 的 软件 缺陷 似乎 要 采用 繁杂 步 又 才能 再 现 ， 或 者 根本 无 法 再 现 ， 如 下 一 些 提示 
和 技巧 会 打开 局 面 。 如 果 磁 到 这 种 情况 ， 尝 试用 如 下 清单 中 的 建议 作为 分 离 软件 的 第 一 步 : 

。 不 要 想当然 地 接受 任何 假设 。 记 下 所 做 的 每 一 件 事 一 每 一 个 步 又 、 每 一 次 停顿 、 每 一 
件 工作 。 无 意 间 丢掉 一 个 步骤 或 者 增加 一 个 多 余 步 又 会 很 容易 出 现 的 。 请 一 个 合作 者 看 
着 你 运行 测试 用 例 。 利 用 按键 和 鼠标 记录 程序 准确 记录 和 回放 执行 步骤 。 如 果 必要 ， 合 
用 录像 机 记录 下 测试 会 话 。 所 有 这 些 的 目的 是 确保 导致 软件 缺陷 所 需 的 全 部 细节 可 见 ， 
并 且 可 以 从 另 一 个 角度 分 析 。 

。 查 找 时 间 依 赖 和 竞争 条 件 的 问题 。 软 件 缺 陷 仅 在 特定 时 刻 出 现 吗 ? 也 许 它 取决 于 输入 数 
据 的 速度 ， 或 者 正 使 用 慢 束 软盘 代替 快速 硬盘 保存 数据 。 看 到 软件 缺陷 时 网 络 忙 吗 ?在 
更 慢 或 更 快 的 硬件 上 运行 测试 用 例 。 要 考虑 时 序 。 

。 边界 条 件 软件 缺陷 、 内 存 泄露 和 数据 溢出 等 白 盒 问题 可 能 会 慢 慢 自 己 显露 出 来 。 执 行 某 
个 测试 可 能 导致 数据 覆 羔 但 是 也 只 有 在 试图 使 用 这 些 数据 时 才 会 发 现 一 也许 在 后 面 的 
测试 中 才 有 可 能 。 重 新 启动 计算 后 消失 ， 而 仅 在 执行 其 他 测试 之 后 出 现 的 软件 缺陷 常 党 
属于 这 一 类 。 如 果 发 生 这 种 现象 ， 就 要 查看 前 面 执 行 的 测试 ， 也 许 要 利用 一 些 动 态 白 盒 
技术 ， 看 软件 缺陷 是 否 在 无 意 间 发 生 了 。 

。 状 态 缺陷 仅 在 特定 软件 状态 中 显露 出 来 。 状 态 缺 陷 的 例子 是 软件 缺陷 仅 在 软件 第 一 次 运 
行 时 出 现 或 者 在 第 一 次 运行 之 后 出 现 。 软 件 缺陷 也 许 仅 在 保存 数据 之 后 ， 或 者 按 任何 键 
之 前 发 生 。 状 态 缺 陷 看 起 来 很 像 时 间 依赖 和 竞争 条 件 的 问题 ， 但 是 你 会 发 现时 间 并 不 重 
要 一 重要 的 是 事件 发 生 的 次 序 ， 而 不 是 发 生 的 时 间 。 

。 考虑 资源 依赖 性 和 内 存 、 网 络 、 硬 件 共享 的 相互 作用 。 软 件 缺 陷 是 否 仅 在 运行 其 他 软件 
并 与 其 他 硬件 通信 的 “繁忙 ”系统 上 出 现 ? 虽然 软件 缺陷 可 能 最 终 会 被 证 实 是 由 于 软件 
的 依赖 性 或 者 对 资源 的 相互 作用 进一步 恶化 的 竞争 条 件 、 内 存 泄露 或 者 状态 缺陷 问题， 
但 是 查 一 查 这 些 影响 有 利于 分 离 软件 缺陷 。 

。 不 要 忽视 硬件 。 与 软件 不 同 ， 硬 件 可 能 降级 ， 不 按 预定 方式 工作 。 板 卡 松动 、 内 存 条 损 
坏 或 者 CPU 过 热 都 可 能 导致 像 是 软件 缺陷 的 失败 ， 但 是 实际 上 不 是 。 设 法 在 不 同 硬件 上 
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再 现 软件 缺陷 。 这 在 执行 配置 和 兼容 性 测试 中 尤其 重要 。 需 要 知道 的 是 缺陷 是 在 一 个 系 
统 上 还 是 在 多 个 系统 上 出 现 。 
如 果 尽 最 大 努力 分 离 软件 缺陷 ， 也 无 法 用 简明 的 步 又 再 现 ， 那 么 仍然 需要 记录 软件 缺陷 ， 
以 免 跟 丢 了 。 也 许 测 试 员 仅 用 从 程序 员 那 里 了 解 到 的 信息 就 能 够 找 出 问题 所 在 。 由 于 程序 员 
熟悉 代码 ， 因 此 看 到 症状 、 测 试用 例 步 又 ， 特 别 是 努力 分 离 问题 的 过 程 时 ， 可 能 得 到 查找 软 
件 缺 陷 的 线索 。 当 然 ， 程 序 员 并 不 愿意 ， 也 没有 必要 对 发 现 的 每 一 个 软件 缺陷 都 这 样 做 ， 但 
是 有 时 这 些 难 以 分 离 的 问题 需要 小 组 的 共同 努力 。 


19.3 并 非 所 有 软件 缺陷 生来 就 是 平等 的 


应 该 承认 和 毁坏 用 户 数据 的 缺陷 比 简单 的 拼写 错误 缺陷 严重 。 但 是 假如 数据 毁坏 仅 在 用 户 
几乎 看 不 到 的 罕见 特例 中 出 现 ， 而 拼写 错误 会 导致 所 有 用 户 安装 软件 产生 问题 呢 ? 修复 哪 一 
个 缺陷 更 重要 ? 决定 变 得 更 加 困难 了 。 

当然 ， 如 果 每 一 个 项 目 都 有 无 限时 间 ， 两 个 问题 都 要 修复 ， 但 是 这 是 永远 办 不 到 的 。 如 
本 章 前 面 所 述 ， 在 每 一 个 软件 项 目 中 都 必须 进行 取舍 ， 必 须 承 担 一 定 的 风险 ， 以 决定 哪些 软 
件 缺 陷 需 修复 ， 哪 些 不 修复 ， 哪 些 推迟 到 软件 的 以 后 版 本 中 解决 。 

在 报告 软件 缺陷 时 ， 一 般 要 讲 明 它 们 将 产生 什么 后 果 。 测 试 员 要 对 软件 缺陷 分 类 ， 以 简 
明 扼要 的 方式 指出 其 影响 。 常 用 方法 是 给 软件 缺陷 划分 严重 性 (severity) 和 优先 级 (Priority ) 。 
当然 ， 有 具体 方法 各 公司 不 尽 相 同 ， 但 是 通用 原则 是 一 样 的 : 

。 严重 性 表示 软件 缺陷 的 恶劣 程度 ， 当 用 户 磋 到 读 缺 陷 时 影响 的 可 能 性 和 程度 . 

e 优先 级 表示 修复 缺陷 的 重要 程度 和 紧迫 程度 。 

下 列 严重 性 和 优先 级 的 常用 划分 方法 清单 有 助 于 更 好 地 理解 两 者 之 间 的 差别 。 请 记 住 ， 
这 只 是 示例 。 有 些 公司 最 多 使 用 10 个 等 级 ， 而 另 一 些 公 司 只 使 用 3 个 等 级 。 然 而 ， 不 论 使 用 多 
少 个 等 有 级， 目标 都 是 一 致 的 。 

严重 性 : 

1) 系统 崩溃 、 数 据 丢失 、 数 据 毁 坏 ， 安 全 性 被 破坏 。 

2) 操作 性 错误 、 结 果 错 误 、 功 能 遗漏 。 

3) 小 问题 、 拼 写 错误 、UI 布 局 、 罕 见 故障 。 

4) 建议 。 

优先 级 : 

1) 立即 修复 ， 阻 止 了 进一步 测试 ， 立 竿 见 影 。 

2) 在 产品 发 布 之 前 必须 修复 。 

3) 如 果 时 间 允 许 应 该 修复 。 

4) 可 能 会 修复 ,但 是 即使 有 产品 也 能 发 布 。 

极 少 发 生 的 数据 毁坏 缺陷 应 该 划分 为 严重 性 1、 优 先 级 3。 导 致 用 户 电 话 求助 的 安装 指示 
错别字 应 该 划分 为 严重 性 3、 优 先 级 2。 

只 要 一 启动 就 崩溃 的 测试 软件 版 本 属于 什么 等 级 ”可 能 是 严重 性 1， 优 先 级 1。 如 果 认 为 
某 按钮 应 该 向 页 面 下 方 再 移动 一 点 ， eh pa 

从 第 13 章 “软件 安全 性 测试 ”讨论 的 恐怖 公式 中 可 以 看 到 ， 安 全 问题 的 级 别 难 以 确定 。 
一 个 特定 的 缺陷 可 能 很 难 被 发 现 ， 全 是” 如果 被 发 现 了， 黑客 就 可 能 会 获得 百 万 的 个 人 账户 。 
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这 种 缺陷 最 有 可 能 被 划分 为 严重 性 1、 优 先 级 1。 

严重 性 和 优先 级 对 于 审查 缺陷 报告 并 决定 哪些 软件 缺陷 应 该 修复 ， 以 何 种 顺序 修复 的 人 员 
或 者 小 组 极其 重要 。 如 果 一 个 程序 员 受 命 修复 25 个 软件 缺陷 ， 他 就 应 该 从 严重 性 1 的 软件 缺陷 
开始 ， 而 不 是 只 修复 最 容易 的 。 同 样 ， 两 个 项 目 经 理 一 一 一 个 管理 游戏 软件 ， 另 一 个 管理 心脏 
监视 仪 一 一 虽然 使 用 同样 的 信息 ， 但 是 根据 它 却 会 做 出 不 同 的 决定 。 其 中 一 个 会 选择 使 软件 更 
美观 、 执 行 速度 更 快 的 做 法 ; 另 一 个 会 先 择 使 软件 尽量 可 靠 的 做 法 。 严 重 性 和 优先 级 信息 是 
他 们 用 于 做 这 些 决定 的 依据 。 本 童 后 面 将 讲述 这 些 领域 如 何 用 在 实际 软件 缺陷 和 系统 中 。 


注意 ”软件 缺陷 的 优先 级 在 项 目 期 间 会 发 生变 化 。 原 来 标记 为 优先 级 2 的 软件 缺陷 随 
着 时 间 即 将 用 尽 ， 以 及 软件 发 布 日 期 临近 ， 可 能 变 为 优先 级 4。 作 为 发 现 该 软件 缺陷 
的 测试 员 ， 需 要 继续 监视 缺陷 的 状态 ， 确 保 自己 能 够 同意 对 其 所 做 的 变动 ， 并 进一步 
提供 测试 数据 或 说 服 别人 修复 缺陷 。 


19.4 软件 缺陷 的 生命 周期 


在 昆虫 学 中 (真正 研究 活 昆 虫 的 学 科 )， 生 命 周 期 (life cycle) 这 个 术语 是 指 昆 虫 有 生 之 
年 的 不 同 阶段 。 如 果 回 顾 高 中 所 学 的 生物 课 ， 就 会 记得 大 多 数 昆虫 的 生命 周期 阶段 是 卵 、 幼 
虫 、 肾 和 成 虫 。 把 软件 问题 也 称 做 臭虫 bug， 缺陷 ) 似乎 挺 合 适 ， 用 类 似 的 生命 周期 系统 来 
标示 生存 的 各 个 阶段 。 软 件 缺 陷 的 阶段 与 真 虫子 的 阶段 不 完全 一 样 。 但 是 原理 是 一 样 的 。 图 
19-2 给 出 了 一 个 最 优化 、 最 简单 的 软件 缺陷 生命 周期 的 例子 。 





发 现 缺 陷 
测试 员 发 现 缺 陷 并 记录 缺陷 报告 
缺陷 报告 交 给 程序 员 
: 
程序 员 修改 缺陷 
缺陷 报告 交 给 测试 员 
测试 员 确认 缺陷 已 修改 


测试 员 关 闭 缺 陷 报 告 
关闭 


图 19-2 显示 软件 缺陷 的 生命 周期 类 似 昆 虫 生命 周期 的 状态 图 


本 例 显示 了 当 软 件 缺 陷 首 先 被 软件 测试 员 发 现时 ， 被 记录 报告 并 指定 给 程序 员 修 复 。 该 
状态 称 为 打开 状态 (open state ) 。 一 旦 程序 员 修复 了 代码 ， 报 告 又 指定 回 到 测试 员 手 中 ， 软 件 
缺陷 进入 解决 状态 (resolved state )。 然 后 测试 员 执行 验证 测试 ， 确 认 软 件 缺 陷 确 实 得 以 修复 。 
如 果 是 ， 就 把 它 关 掉 ， 软 件 测试 进入 最 后 的 关闭 状态 《closed state )。 
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在 许多 情况 下 ， 软 件 缺陷 生命 周期 的 复杂 程度 仅 为 : 软件 缺陷 被 打开 ， 解 决 和 关闭 。 然 
而 在 有 些 情况 下 ， 生 命 周期 变 得 更 复杂 一 些 ， 如 图 19-3 所 示 。 






























发 现 缺 陷 测试 员 发 现 缺陷 并 项 目 经 理 现在 确 
记录 缺陷 报告 定 缺陷 需要 修复 
缺陷 报告 交 给 缺陷 报告 交 给 
程序 员 认 为 缺陷 太 
小 ， 不 需要 修复 程序 员 修改 缺 隐 
项 目 经 理 千 
以 修复 形式 解决 测试 员 
项 目 经 理 确定 软件 
缺陷 并 不 致命 测试 员 确认 缺 
陷 已 修改 
缺陷 报告 交 给 
和 全 a 3 [| 3. 
以 不 修复 形式 测试 员 以 修复 形式 关闭 测试 册 关闭 





测试 员 不 同意 ， 找 出 了 
一 个 通用 的 失败 用 例 


缺陷 报告 交 给 
项 目 经 理 


打开 


图 19-3 如 果 缺 陷 修复 的 过 程 并 不 像 预期 一 样 顺利 ， 软 件 缺 陷 的 生命 周期 就 很 容易 变 得 很 复杂 


在 这 种 情况 下 ， 生 命 周 期 同样 以 测试 员 打 开 软 件 缺陷 并 交 给 程序 员 开 始 ， 但 是 程序 员 不 
修复 它 。 它 认为 软件 缺陷 没有 达到 非 修 复 不 可 的 地 步 ， 交 给 项 目 经 理 来 决定 。 项 目 经 理 同意 
程序 员 的 看 法 ， 把 软件 缺陷 以 “不 修复 ”的 形式 放 到 解决 状态 。 测 试 员 不 同意 ， 查 找 并 找 出 
更 明显 、 更 通用 的 测试 用 例 演示 软件 缺陷 ， 重 新 打开 它 ， 交 给 项 目 经 理 。 项 目 经 理 看 到 新 的 
信息 时 表示 间 意 ， 并 指定 程序 员 修 复 。 于 是 ， 程 序 员 修复 软件 缺陷 ， 完 成 后 进入 解决 状态 ， 
并 将 报告 交 给 测试 员 。 测 试 员 确 认 修复 结果 ， 关 闭 缺 陷 报 告 。 

可 以 看 到 ， 软 件 缺 陷 可 能 在 生命 中 经 历数 次 改动 和 重申 ， 有 时 候 循环 回去 并 重新 开始 生 
命 周期 。 图 19-4 是 图 19-2 的 简化 模型 ， 增 加 了 大 多 数 项 目 中 可 能 出 现 的 决定 、 证 实 和 循环 。 
当然 ， 每 一 个 软件 公司 和 项 目 都 有 自己 的 系统 ， 但 是 本 图 相当 通用 ， 能 够 覆盖 常见 的 几乎 所 
有 软件 缺陷 生命 周期 。 四 

这 个 通用 的 生命 周期 有 两 个 附加 状态 和 一 些 辅助 连 线 。 审 坦 状 态 (review state) 是 指 项 
目 经 理 或 者 委员 会 (有 时 称 为 变动 控制 委员 会 (Change Control Board)) 决定 软件 缺陷 是 否 
应 该 修复 。 在 某 些 项 目 中 ， 所 有 的 缺陷 在 指定 给 程序 员 修改 前 要 经 过 审查 。 在 其 他 项 目 中 ， 
这 个 过 程 直到 项 目 行将 结束 时 才 发 生 ， 甚 至 根本 不 发 生 。 注 意 ， 从 审查 状态 可 以 直接 进入 关 
闭 状态 。 如 果 审 查 决 定 软件 缺陷 不 应 该 修复 一 一 可 能 是 软件 缺陷 太 小 ， 不 是 真正 的 问题 或 者 
属于 测试 错误 一 一 就 会 进入 关闭 状态 。 另 一 个 附加 状态 是 推迟 (deferred)。 审 查 可 能 认定 软件 
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缺陷 应 该 在 将 来 的 某 一 时 间 考 虑 修复 ， 但 是 在 软件 该 版 本 中 不 修复 。 
发 现 缺 陷 





19-4 这 个 通用 的 缺陷 生命 周期 状态 图 覆盖 了 常见 的 几乎 所 有 可 能 发 生 的 情形 


从 解决 状态 回 到 打开 状态 的 附加 线 涉及 软件 测试 员 发 现 软 件 缺 陷 没有 被 修复 的 情况 。 软 - 
件 缺 陷 重新 打开 ， 重 复 新 的 生命 周期 。 从 关闭 状态 和 推迟 状态 绕 回 打开 状态 的 两 条 虚线 虽然 
很 少 发 生 ， 但 是 一 定 要 引起 重视 。 由 于 软件 测试 员 永 远 不 会 放弃 ， 因 此 原来 认为 已 经 修复 、 
测试 和 关闭 的 缺陷 可 能 会 再 次 出 现 。 此 类 软件 缺陷 一 般 称 为 回归 款 陷 (regressions )。 推 迟 修 
复 的 软件 缺陷 以 后 也 可 能 被 证 实 很 严重 ， 要 立即 修复 。 如 果 发 生 任意 一 种 情况 ， 软 件 缺 陷 就 
要 重新 打开 ， 再 次 启动 整个 过 程 。 

大 多 数 项 目 小 组 都 制定 规则 规定 由 谁 来 改变 软件 缺陷 的 状态 ， 或 者 交 给 其 他 人 来 处 理 软 
件 缺 陷 。 例 如 ， 只 有 项 目 经 理 可 以 决定 推迟 软件 缺陷 修复 ， 或 者 只 有 测试 员 人 允许 关闭 软件 缺 
陷 。 重 要 的 是 一 旦 记录 了 软件 缺陷 ， 就 要 跟踪 其 生命 周期 ， 不 要 跟 丢 了 ， 并 且 提 供 必 要 的 信 
息 驱使 其 得 到 修复 和 关闭 。 


19.5 软件 缺陷 跟踪 系统 


至 此 ， 我 们 清楚 了 软件 缺陷 报告 的 过 程 是 很 复杂 的 ， 需 要 大 量 的 信息 、 详 尽 的 细节 和 相 
当 数量 的 组 织 纪律 才能 有 所 成 效 。 本 章 到 目前 为 止 所 讲述 的 一 切 表面 上 看 起 来 很 好 ， 但 是 运 
用 到 实践 中 还 需要 某 种 系统 ， 以 便 记 录 发 现 的 软件 缺陷 ， 并 在 其 整个 生命 周期 中 进行 监视 。 
软件 缺陷 跟踪 系统 可 以 胜任 此 项 工作 。 

本 章 以 下 内 容 将 讨论 软件 缺陷 跟踪 系统 ， 并 给 出 使 用 纸 笔 方法 和 使 用 成 熟 的 数据 库 跟 踪 
的 示例 。 当 然 ， 使 用 什么 工具 可 以 针对 公司 或 者 项 目的 具体 情况 定制 ， 但 是 原则 通常 在 软件 
行业 中 是 一 致 的 ， 因 此 应 该 可 以 在 要 求 使 用 的 任何 系统 中 运用 这 些 技巧 。 I 


19.5.1 标准 : 测试 事件 报告 
我 们 的 好 朋友 ， 软 件 测试 文档 的 IEEE 829 标 准 ( 由 standard iee.org 提 供 ) 定义 了 一 个 称 为 
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测试 事件 报告 (Test Incident Report) 的 文档 ， 其 目的 是 “记录 在 需要 调查 的 测试 过 程 期 间 发 
生 的 任何 事件 "。 简 而 言 之 ， 就 是 记录 软件 缺陷 。 

回顾 标准 对 于 提炼 到 目前 为 止 所 学 的 缺陷 报告 过 程 ， 并 从 总 体 来 看 待 它 是 个 好 的 办 法 。 
下 表 列 出 了 标准 中 定义 、 采 纳 和 更 新 了 的 区 域 ， 以 反映 新 近 的 术语 

。 标识 符 。 定 义 软件 缺陷 报告 的 惟一 IDD， 用 于 定位 和 引用 。 

。 总 结 。 用 简明 扼要 的 事实 陈述 总 结 软件 缺陷 。 要 测试 的 软件 及 其 版 本 的 引用 信息 ， 相 关 

的 测试 过 程 、 测 试用 例 和 测试 说 明 也 应 该 包含 在 内 。 

。 事件 描述 。 提 供 下 列 软件 缺陷 的 详细 的 描述 信息 : 

日 期 和 时 间 

测试 员 的 姓名 

使 用 的 硬件 和 软件 配置 

输入 

过 程 步 又 

预期 结果 

实际 结果 

试图 再 现 以 及 尝试 的 描述 

有 助 于 程序 员 定位 软件 缺陷 和 其 他 现象 或 者 信息 

。 影响 。 严 重 性 和 优先 级 ， 以 及 测试 计划 、 测 试 说 明 、 测 试 程序 和 测试 用 例 的 影响 指示 。 


19.5.2 手工 软件 缺陷 报告 和 跟踪 


IEEE 829 标 准 虽 然 没 有 定义 软件 缺陷 报告 应 该 采用 的 格式 ， 但 是 给 出 了 一 个 简单 文档 的 
例子 。 图 19-5 显 示 了 此 类 书面 软件 报告 的 模样 。 

注意 这 个 只 有 一 页 的 表单 ， 可 以 容纳 标识 和 描述 软件 缺陷 的 必要 信息 。 它 还 包括 用 于 在 生 
. 命 周 期 中 跟踪 软件 缺陷 的 域 。 表 单一 旦 由 测试 员 填 好 ， 缺 陷 就 可 以 交 给 程序 员 进行 修复 了 。 程 
序 员 有 填写 关于 修复 的 信息 的 域 ， 包 括 可 能 的 解决 方案 的 选择 。 还 有 一 个 区 域 ， 一 旦 解决 了 软 
件 缺 陷 ， 软 件 测试 员 可 以 在 此 提供 重新 测试 和 关 掉 软件 缺陷 所 做 工作 的 信息 。 表 单 底 端 是 签名 
区 一 一 在 许多 行业 中 ， 当 在 这 一 行 签 上 软件 测试 员 的 名 字 ， 就 表明 缺陷 被 满意 地 解决 了。 

对 于 非常 小 的 项 目 ， 书 面 表单 足以 胜任 。 在 最 近 的 20 世 纪 90 年 代 ， 即 使 对 于 任务 严格 的 大 
型 项 目 ， 也 使 用 书面 表单 对 成 千 上 万 个 软件 缺陷 进行 报告 和 跟踪 。 今 天 仍然 存在 这 样 的 袖珍 本 。 

书面 表单 的 问题 是 ， 它 是 纸 。 如 果 走 进 一 家 靠 书面 文件 运转 的 公司 ， 想 找 点 东西 ， 就 知 
道 此 类 系统 是 多 么 低 效 了 。 想 一 下 可 能 出 现 的 复杂 软件 缺陷 生命 周期 (例如 图 19-3 所 示 的 例 
子 )， 就 会 怀疑 纸张 系统 怎么 行 。 假 如 有 人 和 想 知道 软件 缺陷 并 6329 的 状态 或 者 还 有 多 少 个 优先 
级 1 软件 缺陷 要 修复 ， 情 形 会 如 何 ? 这 时 应 该 考虑 电子 表格 和 数据 库 带 来 的 好 处 。 


19.5.3 自动 化 软件 缺陷 报告 和 跟踪 


正如 第 18 章 “编写 和 跟踪 测试 用 例 ”中 所 述 的 测试 用 例 和 测试 程序 文档 一 样 ， 没 有 道理 
不 利用 现代 化 的 系统 把 IEEE 829 标 准 更 新 并 应 用 到 工作 中 来 。 毕竟 ， 跟 踪 软 件 缺 陷 的 信息 ， 
即 图 19-5 所 示 的 表单 上 的 数据 只 是 文字 和 数字 一 一 这 是 个 完美 的 数据 库 应 用 程序 。 图 19-6 给 出 
了 这 样 的 一 个 自动 化 软件 缺陷 报告 和 跟踪 系统 ， 代 表 工 作 中 可 能 碰 到 的 类 型 。 





苑 19 业 ”报告 发 现 扒 问题 。 207 


WIDGETS 软 件 公 司 缺陷 报告 缺陷 编号 : 

软件 . 发布: 版 本 : 

测试 员 期 _ _ _ _ _ _ _ _ 提交 给 :-_ _ 
严重 程度 : 1 2 3 4 优先 级 : 1 2 3 4 可 重 现 性 : Y N 
题目 : 

描述 : 


. 、 


解决 修复 ”复制 “不 可 重 现 不 可 修复 ”延期 不 修复 


解决 日 期 _ 解决 人 :~ 版 本 : 
解决 评价 : 
重新 测试 人 : ~ 测试 版 本 :~ 测试 日 期 : 
重新 测试 评价 : 
签名 : 
编写 人 : 一 测试 员 : 
程序 员 ~ 项目 经 理 : 
市 场 部 ， 产品 支持 ; 





图 19-5 软件 缺陷 报告 表格 样 例 ， 说 明 软 件 缺陷 的 细节 如 何 可 以 浓缩 到 一 页 纸 中 


图 19-6 显 示 了 包含 3263 个 软件 缺陷 的 数据 库 的 最 上 层 视 图 。 在 屏幕 上 方 占 三 分 之 一 部 分 
的 简单 列表 中 显示 了 各 个 软件 缺陷 ， 缺 陷 的 ID 号 、 标 题 、 状 态 、 优 先 级 、 严 重 性 和 解决 方案 。 
关于 所 选 软件 缺陷 项 的 详细 信息 显示 在 屏幕 下 面 。 一 眼 就 能 看 出 是 谁 打开 了 软件 缺陷 ， 谁 来 
解决 它 ， 谁 来 关闭 它 。 还 可 以 滚动 查看 软件 缺陷 在 其 生命 周期 中 的 细节 。 

”注意 ,在 屏幕 顶端 有 一 系列 按钮 ， 通 过 单 击 它们 可 以 创建 (打开 ) 新 软件 缺陷 或 者 编辑 、 
解决 、 关 闭 、 重 新 激活 (重新 打开 ) 已 有 的 软件 缺陷 。 以 下 将 显示 在 选择 每 一 个 选项 时 出 现 
的 窗口 。 

图 19-7 显 示 了 新 缺陷 (New Bug) 对 话 框 ， 在 其 中 输入 信息 ， 可 以 将 新 软件 缺陷 记录 在 系 
统 中 。 软 件 缺 陷 的 顶层 描述 包括 其 标题 、 严 重 性 、 优 先 级 和 软件 版 本 等 。 备 注 域 是 输入 发 现 
软件 缺陷 的 详细 过 程 的 。 该 数据 库 为 了 提供 便利 ， 在 备注 域 中 预先 填 入 指导 用 户 提 供 必 要 信 
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息 的 标题 头 。 如 果 要 输入 一 个 新 软件 缺陷 所 要 做 是 按照 提示 来 做 一 -输入 测试 目标 、 设 置 步 
晴 、 再 现 步骤 、 预 期 结果 、 实 际 结果 ， 看 到 软件 缺陷 时 正在 使 用 的 硬件 和 软件 配置 。 
单个 缺陷 列表 
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所 选 缺 陷 的 生命 详细 缺陷 信息 
周期 汇总 信息 


图 19-6 说 明 可 以 提供 何 种 自动 化 系统 的 典型 软件 缺陷 报告 数据 库 主 窗口 
(Mantis 软 件 缺 陷 数 据 图 像 取 材 于 Dave Ball and HBS International 公司 ) 


顶层 缺陷 信息 





详细 的 输入 和 过 程 步骤 
图 19-7 一 个 新 的 软件 缺陷 的 生命 周期 开始 于 新 缺陷 对 话 杠 





一 旦 输入 了 软件 缺陷 ， 实 际 就 开始 了 缺陷 的 生命 周期 ， 在 缺陷 生命 周期 中 的 任何 时 候 ， 
可 能 需要 增加 新 信息 以 明确 细节 内 容 ， 更 改 优先 级 或 者 严重 性 ， 对 数据 做 小 的 变动 。 图 19-8 
给 出 了 提供 更 改 功 能 的 窗口 。 


额外 的 编辑 区 域 





图 19-8 允许 对 已 存在 的 软件 缺陷 项 添加 新 信息 的 编辑 (Edit) 窗口 


注意 该 对 话 框 比 新 缺陷 窗口 提供 了 额外 的 数据 域 。 编 辑 软件 缺陷 时 允许 将 其 与 认为 类 似 
的 另 一 个 软件 缺陷 关联 起 来 。 程 序 员 可 以 增加 在 修复 软件 缺陷 中 有 多 少 进展 的 信息 ， 以 及 修 
复 要 花 多 少时 间 的 信息 。 甚 至 还 有 一 个 可 以 把 软件 缺陷 “控制 住 ”的 域 ， 即 一 种 把 软件 缺陷 
冻结 在 其 生命 周期 中 当前 状态 的 方式 。 

图 19-8 的 一 个 重要 特性 在 备注 域 中 。 每 当 软 件 缺 陷 被 修改 ， 即 打开 、 编 辑 、 解 决 或 者 关 
闭 时 ， 这 些 信息 就 记录 在 备注 域 中 。 一 眼 就 可 以 看 见 软 件 缺 陷 已 经 通过 其 生命 的 哪些 状态 。 

图 19-9 给 出 了 程序 员 或 者 项 目 经 理解 决 软件 缺陷 时 常用 的 对 话 框 。 下 拉 列 表 提 供 了 各 种 
解决 的 选择 ，、 从 解决 了 “(Fixed) 到 不 能 解决 (Can”t Fix) 到 重复 (Duplicate )。 如 果 软 件 缺 
陷 被 修复 ， 其 构造 一 一 或 者 包含 修复 信息 的 版 本 号 一 一 就 要 输入 ， 并 且 在 备注 域 要 加 入 修改 的 
内 容 、 修 改 的 方法 的 信息 。 然 后 软件 缺陷 被 交 给 测试 员 来 关闭 。 

许多 软件 缺陷 数据 库 不 仅 跟踪 修复 的 备注 ， 而 且 跟 踪 程 序 员 修复 软件 缺陷 时 做 了 什么 。 
代码 行 、 模 块 、 甚 至 错误 类 型 也 会 记录 ， 所 以 这 常常 为 白 盒 测 试 员 提 供 有 用 的 信息 。 

软件 缺陷 被 解决 之 后 ， 通 常 指定 回 到 测试 员 手 中 进行 关闭 。 图 19-10 给 出 了 软件 缺陷 的 关 
闭 (Closing) 对 话 框 。 因 为 数据 库 跟踪 软件 缺陷 报告 自打 开 以 来 的 每 一 次 修改 ， 所 以 可 以 看 
到 用 这 种 方式 所 做 的 决定 ， 以 及 修复 的 具体 内 容 。 软 件 缺 陷 可 能 没有 按 预 期 方式 修复 ， 也 许 
类 似 的 软件 缺陷 被 发 现 并 由 其 他 测试 员 添 加 进来 ， 也 许 程序 员 在 备注 中 注 明 修 复 有 风险 。 所 
有 这 些 信息 有 助 于 在 重新 测试 软件 缺陷 时 确认 其 修复 情况 。 如 果 证 实 软件 缺陷 没有 修复 ， 只 
需要 重新 打开 缺陷 ， 再 一 次 启动 生命 周期 。 

一 旦 使 用 了 真正 的 软件 缺陷 跟踪 数据 库 ， 就 会 感觉 到 奇怪 软件 项 目的 缺陷 怎么 会 用 纸 笔 
来 管理 。 软 件 缺 陷 跟踪 数据 库 不 仅仅 是 软件 测试 员 的 ， 而 是 为 整个 项 目 小 组 提供 了 一 个 中 心 
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点 ， 它 可 以 用 来 交流 项 目的 状态 ， 说 明 谁 被 指定 完成 什么 任务 ， 更 重要 的 是 保证 没有 软件 缺 
陷 造 成 崩溃 的 后 果 。 这 是 本 章 所 述 关 于 如 何 报告 发 现 问 题 的 精 散 。 






ents: Comvest cemmon wad cardt to TSQLIn querics om 
| 


图 19-10 准备 关闭 的 软件 缺陷 报告 拥有 完整 的 历史 资料 可 供 审查 


19.6 小 结 


本 章 开始 讲述 了 儿童 故事 “四 眼 天 鸡 ” 的 一 个 片段 ， 描 述 了 它 被 橡树 果 意 外 砸 在 头 上 时 
的 反应 。 它 认为 自己 发 现 了 严重 问题 一 一 严重 性 1、 优 先 级 1 的 缺陷 一 一 立即 开始 到 处 喷 喷 天 要 


塌 了 。 
作为 软件 测试 员 ， 当 发 现 正在 测试 的 程序 中 某 个 部 分 没有 按 预期 方式 工作 时 ， 有 时 容易 
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被 吸引 住 。 本 章 讲述 了 应 该 遵循 正规 过 程 正确 地 分 离 、 分 类 、 记 录 和 跟踪 发 现 的 问题 ， 以 保 
证 它们 最 终 得 到 解决 ， 最 好 被 修复 。 | 

“四 眼 天 鸡 ” 没 有 看 过 第 19 章 ， 因 此 它 不 知道 怎么 办 ， 除 了 告诉 所 有 人 它 认为 的 事情 发 生 
了 。 当 然 ， 它 错 了 ， 天 没有 塌 下 来 。 假 如 它 至 少 停 下 来 分 离 和 再 现 问 题 ， 就 会 发 现 其 实 那 根 
本 不 是 问题 一 果子 从 树 上 掉 下 来 是 故意 的 。 最 后 ， 它 的 恐慌 和 本 能 使 自己 陷 了 进去 (如 果 
没有 听 过 这 个 故事 ， 现 在 接着 讲 下 去 。 四 眼 天 鸡 和 它 在 仓 前 空 场 玩 要 的 朋友 后 来 碰 到 一 只 饥 
饿 的 狐 猩 ， 狐 狸 请 它们 到 自己 的 洞穴 里 听 它 们 讲 故 事 )。 

所 有 这 些 的 语意 是 ， 要 想 成 为 卓有成效 的 测试 员 ， 不 仅 需 要 计划 测试 和 寻找 软件 缺陷 ， 
而 且 要 运用 有 组 织 的 、 系 统 的 方法 去 报告 它们 。 夸 大 其 辞 、 粗 劣 报告 的 或 者 误 报 的 软件 缺陷 
根本 算 不 上 软件 缺陷 一 一 肯定 得 不 到 修复 。 


19.7 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 

1. 说 出 软件 缺陷 可 能 不 修复 的 几 个 原因 。 

2. 哪些 基本 原则 可 能 应 用 于 软件 缺陷 报告 ， 使 软件 缺陷 获得 最 大 的 修复 机 会 ? 

3. 描述 分 离 和 再 现 软 件 的 一 些 技 术 。 

4. 假设 正在 Windows 计 算 器 上 执行 测试 ， 发 现 1+1=2，2+2=5，3+3=6，4+4=9，5+5=10， 
6+6=13。 写 一 个 软件 缺陷 标题 和 有 效 描述 该 问题 的 软件 缺陷 描述 。 

5. 在 软件 启动 画面 上 公司 徽标 中 的 错别字 应 该 有 什么 样 的 严重 性 和 优先 级 ? 

6. 什么 是 软件 缺陷 生命 周期 的 3 个 基本 状态 和 2 个 附加 状态 ? 

7. 列举 数据 库 软 件 缺 陷 跟 踪 系 统 比 纸张 系统 有 用 得 多 的 一 些 原因 。 











第 20 章 
成 效 评价 


第 19 章 “报告 发 现 的 问题 ”讲述 了 报告 发 现 的 软件 缺陷 的 基本 方法 ， 以 及 如 何 使 用 专业 
化 软件 缺陷 数据 库 跟 踪 软 件 缺 陷 。 尽 管 多 数 情况 下 软件 测试 员 都 是 使 用 数据 库 来 输入 软件 缺 
陷 ， 但 是 使 用 它 的 间接 好 处 是 能 够 提取 各 种 实用 和 关心 的 数据 ， 可 以 评价 测试 工作 的 成 败 和 
项 目的 进展 情况 。 

通过 使 用 软件 缺陷 跟踪 数据 库 中 的 信息 ， 可 以 进行 查询 ， 指 出 发 现 的 软件 缺陷 类 型 ， 发 
现 软件 缺陷 的 速度 ， 以 及 多 少 软件 缺陷 已 经 得 到 了 修复 。 测 试 经 理 或 者 项 目 经 理 可 以 看 出 数 
据 中 是 否 有 趋势 显示 需要 增加 测试 的 区 域 ， 或 者 项 目 是 否 脱离 计划 发 布 日 期 的 轨道 。 数 据 捍 
. 在 那里 ， 问 题 就 是 建立 能 够 显示 所 需 信息 的 报表 。 

本 章 将 介绍 一 些 适合 软件 测试 员 使 用 的 流行 查询 和 报表 ， 并 给 出 其 用 于 典型 软件 项 目 中 
的 例子 。 

本 章 重点 包括 : 

。 度量 和 统计 有 什么 作用 

。 为 什么 在 数据 收集 和 报告 中 要 多 加 小 心 

。 如 何 使 用 简单 软件 缺陷 数据 库 进 行 查询 和 生成 报表 

。 一 些 常用 的 项 目 级 的 度量 


20.1 使 用 软件 缺陷 跟踪 数据 库 中 的 信息 


考虑 以 下 问题 : 

es 正在 测试 的 软件 什么 区 域 缺 陷 最 多 ， 哪 里 最 少 ? 

。 当前 交 给 某 个 测试 员 多 少 个 已 经 解决 的 软件 缺陷 ? 

。 某 个 测试 员 很 快要 外 出 渡 假 。 他 发 现 的 软件 缺陷 临 走 前 能 够 全 部 修复 吗 ? 

。 本 周 找 出 了 多 少 个 软件 缺陷 ? 本 月 呢 ? 整 个 项 目 期 间 呢 ? 

。 愿意 带 一 份 全 是 打开 的 优先 级 1 软件 缺陷 的 清单 到 项 目 审查 会 议 上 吗 ? 

。 估计 软件 在 符合 预定 发 布 日 期 的 正常 轨道 上 吗 ? 

这 些 基本 问题 在 软件 项 目 进行 期 间 会 定期 讨论 。 它 们 不 是 火箭 研究 ， 而 是 直观 的 简单 间 
题 ， 测 试 小 组 和 项 目 小 组 成 员 最 终 需 要 知道 答案 。 

令 人 惊奇 的 是 ， 软 件 缺 陷 跟踪 数据 库 可 以 变 成 评价 项 目 状态 和 回答 这 些 重要 问题 的 基本 
方式 。 如 果 找 不 到 更 好 的 方式 ， 那 么 最 好 考虑 将 其 作为 主要 进度 ， 或 者 项 目 计划 ， 或 者 项 目 
管理 处 理 的 事务 。 实 际 上 ， 这 些 文档 反映 出 项 目的 最 初 意图 一 一 缺陷 跟踪 数据 库 反 映 项 目的 
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实质 。 如 果 想 选择 一 个 高 品质 的 饭店 ， 就 会 根据 厨师 简历 或 者 店主 的 历史 作为 选择 依据 。 但 
是 ， 要 想 保证 找到 一 家 好 饭店 ， 就 得 看 一 下 最 新 的 食物 评论 或 者 健康 检查 报告 的 记录 。 项目 
的 软件 缺陷 数据 库 工作 原理 与 此 相同 。 它 告诉 你 过 去 发 生 了 什么 ， 现 在 发 现 了 什么 ， 让 你 可 
以 通过 数据 的 分 析 ， 对 趋势 进行 科学 的 推测 。 

注意 “用 于 描述 软件 项 目 特 定 属性 评价 的 术语 是 软件 度量 。 每 天 每 个 测试 员 发 现 缺 陷 


的 平均 数 是 一 个 度量 。 从 软件 的 每 个 区 域 发 现 的 缺陷 数目 是 一 个 度量 。 严 重 性 1 的 扶 
陷 和 严重 性 4 的 缺陷 的 比率 也 是 一 个 度量 。 


因为 软件 缺陷 数据 库 不 断 更 新 新 的 软件 缺陷 、 软 件 缺 陷 登 记 项 和 修复 日 期 、 项 目 成 员 姓 
名 、 软 件 缺 陷 的 指派 等 ， 所 以 把 描述 项 目 状态 一 一 以 及 各 测试 员 或 者 程序 员 的 状态 的 各 种 度 
量 放 在 一 起 是 很 自然 的 。 

利用 软件 缺陷 数据 库 进 行 度量 有 一 个 潜在 问题 。 同 一 个 数据 库 可 以 告诉 所 有 人 ， 有 多 少 
优先 级 1 软件 缺陷 仍然 需要 修复 ; 也 能 告诉 管理 部 门 ， 某 一 个 程序 员 制造 了 多 少 个 软件 缺陷 。 
它 还 能 告诉 老板 ， 与 小 组 中 其 他 测试 员 相 比 ， 某 位 测试 员 记录 了 多 少 个 软件 缺陷 。 公 布 这 些 
信息 是 好 事 吗 ? 也许 是 ， 如 果 测 试 员 和 程序 员 都 真正 擅长 测试 工作 。 但 是 如 果 测 试 优秀 程序 
员 的 代码 呢 ? 没有 多 少 软件 缺陷 能 找 出 来 ， 软 件 缺 陷 发 现 的 度量 值 突然 间 降 低 了 ， 与 测试 满 
是 软件 缺陷 的 代码 的 测试 员 无 法 相 比 ， 

本 章 的 目的 不 是 深入 探讨 使 用 软件 缺陷 数据 库 的 方式 引起 的 道义 和 人 际 关系 问题 。 然 而 ， 
这 通常 应 该 视 为 跟踪 项 目 级 的 度量 ， 而 不 是 个 人 的 行为 一 -除非 度量 是 专用 的 、 含 义 清楚 明 
确 的 。 如 果 项 目 中 使 用 软件 缺陷 跟踪 数据 库 ， 就 要 和 测试 经 理 和 项 目 经 理 讨论 要 收集 什么 信 
息 ， 如 何 使 用 它们 ， 以 免 出 现 意 外 。 

规则 放 在 一 边 ， 使 用 软件 缺陷 数据 库 作 为 度量 的 依据 是 评测 项 目 状态 和 软件 测试 员 自 身 
进展 极其 有 效 的 方式 。 所 有 信息 摆 在 那里 ;问题 是 要 把 它们 从 数据 库 中 提取 出 来 ， 组 织 成 有 
用 的 格式 。 本 章 的 “提示 ”部 分 将 讨论 一 些 可 以 在 软件 项 目 中 常用 的 度量 ， 说 明 它们 是 如 何 
生成 和 如 何 解释 的 。 当 然 项 目 是 千变万化 的 ， 因 此 不 要 认为 这 些 是 唯一 可 用 的 度量 。 正 当 你 
以 为 看 到 了 可 能 最 奇怪 的 饼 图 时 ， 别 人 可 能 又 会 想 出 另 一 种 新 的 表示 项 目 数据 的 实用 视图 。 


20.2 在 日 常 测试 中 使 用 的 度量 


软件 缺陷 跟踪 数据 库 最 常用 的 特性 (除了 输入 软件 缺陷 之 外 ) 可 能 就 是 执行 查 均 ， 获 得 
感 兴 趣 的 软件 缺陷 清单 。 不 要 忘 了 ， 软 件 缺 陷 数 据 库存 可 能 存放 了 成 千 上 万 的 软件 缺陷 。 在 
如 此 大 型 的 清单 中 手工 选择 是 不 可 能 的 。 在 数据 库 中 选择 软件 缺陷 的 美妙 之 处 是 让 执行 查询 
成 为 了 简单 的 任务 。 图 20-1 显 示 了 一 个 典型 的 查询 构造 窗口 ， 有 一 个 查询 示例 准备 输入 。 





gy a 
di 


图 20-1 大 多 数 缺 陷 跟踪 数据 库 都 有 一 个 构建 查询 的 方式 以 返 回 需要 查找 的 特定 信息 
(图 片 来 自 Dave Ball 和 HBS 国 际 公 司 的 Mantis 缺 陷 数 据 库 ) 
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这 个 软件 缺陷 数据 库 的 查询 构造 器 和 其 他 大 多 数 数据 库 一 样 ， 利 用 逻辑 与 、 坎 辑 或 和 括 
号 构建 特定 的 查询 请 求 。 在 本 例 中 ,测试 员 正在 查找 完全 符合 下 列 规 则 的 全 部 缺陷 清单 : 

e 软件 产品 的 名 称 为 Mantis 或 Mantis Web 

e 软件 缺陷 由 IraCol 和 JosNar 打 开 

e 软件 缺陷 的 当前 状态 是 关闭 的 

单 击 Run Query 按 钮 ， 数 据 库 开始 搜索 所 有 符合 这 些 规则 的 软件 缺陷 ， 然 后 返回 其 ID 号 和 
缺陷 的 标题 用 于 查看 。 

构造 的 查询 类 型 仅 受到 数据 库 字 段 、 可 容纳 的 字段 值 的 约束 。 它 可 以 回答 关于 测试 情况 
及 其 与 项 目的 关系 的 全 部 问题 ， 例 如 ， 以 下 是 通过 查询 可 以 轻易 回答 的 问题 : 

e 提交 上 来 进行 关闭 的 已 解决 的 软件 缺陷 的 IDP 号 是 什么 ? 

。 在 该 项 目 中 输入 了 多 少 软件 缺陷 ? 在 前 一 周 内 呢 ? 在 上 一 个 月 呢 ? 在 4 月 1 日 到 7 月 31 日 

期 间 呢 ? 

e。 输入 的 针对 用 户 界面 的 软件 缺陷 哪些 是 以 不 修复 的 形式 解决 的 ? 

e 发 现 的 软件 缺陷 中 有 多 少 是 严重 性 1 或 者 严重 性 2 的 ? 

。 在 输入 的 全 部 软件 缺陷 中 ， 修 复 了 多 少 ? 推迟 了 多 少 ? 重复 了 多 少 ? 

查询 结果 是 如 图 20-2 所 示 的 软件 缺陷 跟踪 数据 库 窗 口中 显示 的 软件 缺陷 清单 。 查 询 中 所 
有 符合 规则 的 软件 缺陷 按照 数字 顺序 返回 。 在 数字 之 间 看 到 的 间隔 一 例如 3 238 和 3 247 之 间 
的 间隔 一 一 是 数据 库 中 与 查询 不 匹配 的 软件 缺陷 。 


符合 查询 条 件 的 缺 


缺陷 人 D 号 陷 数目 
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满足 查询 条 件 的 
缺陷 清单 


图 20-2 查询 结果 在 数据 库 主 窗口 中 以 软件 缺陷 清单 形式 返回 
执行 查询 是 软件 缺陷 跟踪 数据 库 的 强大 特性 ， 对 提供 完成 任务 所 需 的 信息 和 评价 成 效 时 
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非常 有 用 。 然 而， 除了 这 些 能 力 之 外 ， 还 可 以 采取 其 他 步骤 ， 使 信息 更 加 有 用 ， 即 得 到 一 个 
或 者 多 个 查询 结果 之 后 ， 转 化 为 打印 报表 和 图 形 化 表单 。 图 20-3 显 示 了 使 用 数据 库 输出 查询 
结果 的 方法 。 

从 图 20-2 可 以 看 到 ID 号 、 标 题 、 状 态 、 优 先 级 、 严 重 性 、 解 决 方案 和 产品 名 称 的 查询 结 
果 。 在 大 多 数 情况 下 ， 这 些 就 是 所 需 的 全 部 信息 ， 但 是 在 另外 一 些 情况 下 ， 可 能 希望 细节 再 
多 一 些 或 者 少 一 些 。 通 过 使 用 如 图 20-3 所 示 的 导出 窗口 导出 数据 ， 可 以 挑选 希望 存 入 文件 的 
字段 。 如 果 只 关心 分 配给 自己 的 软件 缺陷 ， 就 可 以 导出 软件 缺陷 ID 号 以 及 标题 的 简易 清单 。 
如 果 要 参加 讨论 打开 软件 缺陷 的 会 议 ， 就 应 该 保存 软件 缺陷 的 ID 号 、 标 题 、 优 先 级、 严重 性 
以 及 指定 的 人 员 。 此 类 清单 如 表 20-1 所 示 。 
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图 20-3 该 缺陷 数据 库 可 以 把 所 有 字段 导出 到 一 个 普通 的 以 制 表 符 定 界 的 
原始 数据 文件 或 文字 处 理 文件 


表 20-1 缺陷 委员 会 会 议 使 用 的 打开 缺陷 清单 


-一 
_ 打 信 信号 “ 揣 机 村 县。 信也 区 和 拓 让 时 各 让 名 突 扔 
005 偶数 相 加 不 正确 1 2 Waltp 
023 0 除 以 0 引起 崩溃 1 1 EIP 
024 帮助 文件 calc.hlp 中 有 无 效 链接 3 3 BobH 
025 帮助 文件 wcalc.hlp 中 有 无 效 链 接 3 3 BobH 
030 颜色 模式 下 的 颜色 错误 3 2 MarthaH 


与 其 以 适合 打印 的 文字 处 理 格式 保存 查询 结果 ， 不 如 以 制 表 符 定 界 的 原始 形式 保存 数据 ， 
这 样 ， 结 果 容 易 由 其 他 数据 库 、 电 子 表格 或 者 图 表 程 序 读 取 。 例 如 ， 如 果 数 据 库 支持 SQL， 
可 以 建立 如 下 通用 查询 : 

Product EQUALS Calc-U-Lot AND 

Version EQUALS 2.0 AND 

Opened By EQUALS Pat 

这 样 将 针对 名 为 Calc-U-Lot v2.0 的 软件 产品 (虚构 的 ) 列 出 由 叫做 Pat 的 人 打开 的 所 有 软 
件 缺 陷 。 如 果 接着 导出 带 有 软件 缺陷 严重 性 数据 字段 的 查询 结果 ， 就 可 以 生成 如 图 20-4 所 示 
的 图 表 。 

这 个 饼 图 没有 软件 缺陷 标题 或 者 描述 信息 、 没 有 日 期 、 没 有 解决 方案 ， 甚 至 没有 软件 缺 
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陷 ID 号 。 只 有 Pat 针 对 Calc-U-Lot v2.0 软 件 项 目 记录 的 全 部 软件 缺陷 的 简单 概貌 ， 按 严重 性 分 
开 。 在 Pat 打 开 的 软件 缺陷 中 ，45% 是 严重 性 1 的 、32% 是 严重 性 2 的 、16% 是 严重 性 3 的 、7% 
是 严重 性 4 的 。 尽 管 这 些 数字 背后 有 大 量 细节 ， 但 从 表面 上 可 以 说 Pat 发 现 的 大 多 数 缺 陷 是 相 
当 严 重 的 。 

同样 ， 图 20-5 给 出 了 另 一 种 由 不 同 查询 生成 的 图 表 ， 用 解决 方案 来 分 开 显 示 Pat 发 现 的 软 
件 缺 陷 。 生 成 该 数据 的 查询 为 : 

Product EQUALS Calc-U-Lot AND 

Version EQUALS 2.0 AND 

Opened By EQUALS Pat AND 

Status EQUALS Resolved OR Status EQUALS Closed 


Calc-U-Lot v2.0 按 严重 性 分 类 统计 Pat 发 现 的 缺陷 


严重 性 4 7% 
严重 性 3 
16% 
严重 性 1 
45% 





严重 性 2 
32% 


图 20-4 软件 缺陷 跟踪 数据 库 可 以 用 来 创建 显示 测试 细节 的 独立 图 表 


把 解决 方案 字段 导出 到 图 表 程 序 中 ， 可 以 生成 如 图 20-5 所 示 的 图 表 ， 显 示 Pat 发 现 的 软件 
缺陷 大 多 数 最 终 得 以 修复 (对 测试 员 的 友好 表示 )， 只 有 小 部 分 以 不 可 再 现 、 重 复 、 推 迟 或 者 
由 于 某 种 原因 不 算 问 题 等 方式 解决 。 

一 旦 开始 测试 ， 就 会 找到 个 人 或 者 小 组 乐于 使 用 的 某 种 度量 来 衡量 测试 过 程 的 进行 情况 。 
可 以 统计 自己 每 天 发 现 了 多 少 个 软件 缺陷 ,或 者 像 前 面 的 例子 那样 ， 统 计 “ 修 复 率 "。 重 要 的 
是 通过 从 软件 缺陷 数据 库 中 提取 信息 ， 可 以 构造 任何 想 要 的 度量 。 这 引出 了 本 章 的 下 一 部 分 ， 
它 描述 评价 整个 项 目 情况 的 一 些 常用 高 级 度量 。 


20.3 常用 项 目 级 度量 


从 “大 老板 ”的 角度 考虑 经 理 明天 早晨 喝 咖 啡 时 考虑 的 问题 : 软件 项 目 进展 正常 吗 ? 能 
够 准备 好 如 期 发 布 吗 ? 假如 超过 日 期 期 限 有 什么 风险 ? 整体 可 靠 性 如 何 ? 
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Pat 的 Calc-U-Lot v2.0 软 件 缺陷 解决 情况 





缺陷 数量 





修复 不 可 重 现 可 重 现 不 是 问题 推迟 
图 20-5 不 同 的 查询 可 以 生成 不 同 的 软件 缺陷 数据 视图 。 在 本 例 中 ， 
可 以 看 到 某 个 测试 员 发 现 的 软件 缺陷 是 如 何 解决 的 


从 整个 项 目 角 度 来 看 ， 管 理 基 本 上 关注 的 问题 是 一 一 质量 和 可 靠 性 等 级 是 多 少 ? 是 否 按照 
进度 在 进行 ?软件 缺陷 跟踪 数据 库 是 提供 该 信息 的 最 佳 工具 。 

回顾 第 3 章 “ 软 件 测 试 的 实质 ”中 所 述 测试 基本 规则 之 一 一 一 发 现 的 软件 缺陷 越 多 ， 表 明 
未 发 现 的 软件 缺陷 越 多 。 该 原则 对 于 检查 软件 的 一 小 部 分 或 者 组 合 在 一 起 的 数 千 个 模块 都 适 
用 。 根 据 该 原则 ， 很 容易 建立 用 于 查看 软件 状况 的 度量 和 图 表 ， 不 仅 能 够 确定 测试 工作 的 状 
态 ， 而 且 能 够 确定 整个 项 目的 状态 。 


注意 ” 绝 大 多 数 情况 下 由 测试 经 理 或 者 项 目 经 理 来 构造 这 些 度量 。 然 而 ， 软 件 测试 员 
也 有 必要 开 亚 它们， 以 便 了 解 测试 工作 对 整个 项 目 产生 何 种 影响 以 及 测试 小 组 进展 是 
否 顺利 。 


图 20-6 是 一 个 显示 针对 Calc-U-Lot v2.0 项 目 中 已 发 现 软件 缺陷 分 类 的 基本 饼 图 ,在 该 图 中 ， 
软件 缺陷 按照 被 发 现 的 主要 功能 区 域 进行 划分 。 

假定 该 图 表 在 产品 开发 过 程 的 中 途 生 成 。 按 照 “ 软 件 缺 陷 一 个 接 一 个 ”的 原则 ,试想 哪 
些 区 域 可 能 仍然 有 很 多 软件 缺陷 ， 可 能 需要 增加 测试 ? 

其 中 3 个 区 域 一 -用户 界面 、 整 数 运算 和 浮 点 运算 一 一 占据 已 开发 软件 的 缺陷 总 数 的 60%。 
如 果 针 对 整个 产品 的 测试 工作 是 一 致 的 ， 那 么 这 些 区 域 就 极 有 可 能 充满 软件 缺陷 ， 仍 然 可 以 
找 出 更 多 的 缺陷 。 


注意 ”在 形成 这 个 结论 时 ， 重 要 的 是 看 针对 整个 产品 的 测试 工作 是 否 一 致 。 其 他 区 域 
也 许 还 没有 完全 测试 ， 或 者 代码 很 少 ， 或 者 很 简单 。 这 可 能 是 这 些 区 域 不 相称 的 会 缺 
陷 统计 数 的 根本 原因 。 在 生成 和 解释 软件 缺陷 数据 时 一 定 要 小 心 ， 确 保 其 背后 的 全 部 
事实 都 被 了 解 。 


该 数据 告诉 测试 员 和 管理 部 门 关 于 项 目的 大 量 信息 ， 是 关于 如 何 提炼 软件 缺陷 信息 使 其 
变 得 简单 而 容易 理解 的 好 例子 。 许 多 小 组 通常 利用 该 图 表 了 解 软件 缺陷 来 自 何 处 ， 项 目 中 有 
哪些 区 域 需要 增加 或 者 减少 注意 。 该 图 表 不 显示 时 间 信息 。 例 如 ， 在 用 户 界面 区 域 的 软件 缺 
陷 的 发 现 速 度 是 稳定 的 ， 而 本 地 化 区 域 的 发 现 速度 是 不 断 增长 的 。 这 方面 不 能 从 该 图 表 中 看 
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出 。 因此， 通常 使 用 另 一 组 基本 图 表 显示 发 现 的 软件 缺陷 随时 间 推 移 的 情况 。 图 20-7 是 此 类 
图 表 的 一 个 例子 。 


Calc-U-Lot v2.0 按 照 软件 区 域 划 分 软件 缺陷 





浮 点 运算 
20% 
图 20-6 显示 在 软件 每 个 主要 功能 区 域 发 现 的 软件 缺陷 数目 的 项 目 级 饼 图 


Calc-U-Lot v1.0 随 时 间 推 移 所 打开 的 缺陷 


| 
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打开 的 日 期 
图 20-7 显示 随时 间 推 移 所 打开 的 软件 缺陷 的 图 表 揭 示 出 关于 软件 项 目的 大 量 信息 


在 该 图 表 中 ， 从 6 月 7 日 到 9 月 6 日 的 每 周 日 期 显示 在 x 轴 上 ， 而 在 此 期 间 每 天 发 现 的 软件 缺 
陷 数 目 显示 在 y 轴 上 。 可 以 看 到 ， 在 项 目 开 始 时 ， 发 现 软件 缺陷 的 速度 很 慢 ， 然 后 稳步 上 升 ， 
直至 达到 相当 稳定 的 状态 ,每 天 发 现 大 约 15 个 软件 缺陷 。 假定 项 目 进度 目标 定 于 9 月 15 日 发 布 。 
看 看 图 表 ， 你 认为 软件 准备 就 绪 了 吗 ? 

大 多 数 有 理性 的 人 都 会 认为 没有 准备 好 。 图 表 清 晰 地 显示 软件 缺陷 发 现 速度 随 着 时 间 推 
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打开 的 缺陷 





各 20 昔 成 戏 评 和 价 ” 219 


移 保 持 不 变 ， 没 有 下 降 的 趋势 。 当 然 ， 最 后 3 天 的 下 滑 有 可 能 继续 ， 但 是 这 只 是 一 相 情 愿 的 想 
法 。 在 软件 缺陷 数目 下 降 的 明朗 趋势 出 现 之 前 ， 不 能 认为 软件 已 经 准备 就 绪 。 . 

图 20-8 中 的 图 表 显 示 了 指示 进展 的 明朗 趋势 。 该 项 目 开始 状况 与 图 20-7 中 相同 ， 但 是 经 过 
6 月 中 旬 软 件 缺 陷 发 现 高 峰之 后 开始 减 小 ， 最 终 突 然 变 为 每 天 只 发 现 一 两 个 软件 缺陷 
软件 中 的 缺陷 变 得 极 少 并 且 越 来 越 难以 发 现 。 


Calc-U-Lot v2.0 随 时 间 推 移 打 开 的 缺陷 ， 附 带 累计 曲线 





一 每 天 打开 的 缺陷 
w= 累计 打开 的 缺陷 


打开 的 缺陷 





a PO 


打开 的 日 其 | 
图 20-8 该 图 表 显 示 项 目 能 够 按照 预定 发 布 日 期 9 月 15 日 发 布 


该 图 表 还 有 一 条 曲线 显示 随 着 时 间 推 移 累计 发 现 的 软件 缺陷 。 可 以 看 到 缓和 地 上 升 然后 趋 
于 平坦 的 曲线 ， 表 示 软 件 缺 陷 发 现 速 度 不 断 减 小 。 一 般 情况 下 项 目 到 此 点 处 于 发 布 的 好 位 置 。 


注意 ”在 解释 数据 时 要 小 心 。 看 一 下 如 图 20-8 所 示 的 图 表 。 它 显示 了 软件 缺陷 发 现 速 ， 
度 随 着 时 间 推 移 在 降低 。 这 可 以 理解 为 由 于 软件 缺陷 被 找到 并 修复 而 使 产品 变 得 更 加 
稳定 。 但 是 原因 也 可 能 是 许多 测试 员 因 为 生病 没 来 上 班 。 如 果 测 试 员 不 在 测试 ， 就 不 
会 发 现任 何 软件 献 陷 ， 软 件 缺 陷 数 据 图 表 看 起 来 就 像 是 一 切 都 好 了 。 


这 些 例 子 中 显示 的 简单 图 表 在 x 轴 上 只 有 日 历 日 期 。 在 实际 项 目 中 ， 不 仅 要 标明 日 期 ， 而 
且 要 标明 项 目的 进度 和 重大 事件 ， 例 如 软件 的 主要 版 本 、 各 个 测试 阶段 等 都 很 重要 。 这 样 做 
有 助 于 证 清 一 些 原因 ， 例 如 趋势 曲线 过 早 持平 〈 也 许 测试 阶段 已 决定 结束 ， 测 试 员 等 待 需要 
测试 的 代码 ) 或 者 趋势 曲线 直线 上 升 提供 大 量 以 前 未 测试 的 新 代码 来 测试 )。 再 强调 一 下 ， 
图 表 只 是 数据 。 为 成 功 使 用 图 表 ， 需 要 对 其 澄清 和 完全 理解 。 

一 个 反映 项 目 状 态 的 更 有 效 的 软件 缺陷 图 表 如 图 20-9 所 示 。 该 图 表 与 图 20-8 类 似 ， 只 是 增 
加 了 两 条 线 ， 一 条 显示 累计 解决 的 软件 缺陷 ， 另 一 条 显示 累计 关闭 的 软件 缺陷 ， 其 下 方 的 阴 
影 显示 两 者 之 间 的 空间 。 
最 顶端 的 线 与 图 20-8 中 相同 ， 代表 随时 间 推移 打开 的 软件 钢 陷 。 此 处 没有 变化 ; 用 法 也 
相同 。 其 下 方 的 线 代 表 随时 间 推 移 解 决 的 软件 缺陷 一 一 程序 员 已 经 修复 、 或 者 审查 委员 会 决 
定 不 必 解 决 的 软件 缺陷 。 随 着 软件 缺陷 被 解决 ， 这 条 线 开始 上 扬 ， 和 逼近 打开 的 软件 缺陷 的 那 
条 线 。 两 条 线 之 间 存 在 间隙 (黑色 填充 区 域 所 示 )， 因 为 程序 员 和 审查 者 一 般 不 会 在 测试 员 输 
入 软件 缺陷 时 立即 解决 。 于 是 软件 缺陷 开始 堆积 ， 软 件 缺陷 的 生命 周期 的 两 个 状态 间隙 变 宽 。 
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最 后 程序 员 和 项 目 经 理 跟 上 来 ， i sc ic 
的 数目 相等 。 


Calc-U-Lot v2.0 随 时 间 推 移 打 开 的 、 解 决 的 、 关 闭 的 缺陷 
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打开 的 日 期 
图 20-9 这 是 软件 测试 状态 图 的 所 有 内 容 吗 ? 可 能 是 ， 也 可 能 不 是 。 
但 是 该 图 在 表达 项 目的 状态 上 确实 很 有 效 


第 3 条 线 显示 随时 间 推 移 关 闭 的 软件 缺陷 。 不 要 忘 了， 一 旦 软件 缺陷 被 解决 ， 就 会 交 回 到 
测试 员 手中 进行 回归 测试 ， 以 保证 其 得 以 修复 。 如 果 查 明 软 件 缺 陷 被 修复 ， 就 将 其 关闭 。 与 
解决 线 落后 于 打开 线 的 原因 一 样 ， 这 条 线 落后 于 解决 线 一 一 测试 员 通 常 不 能 像 解 决 软件 缺陷 
那么 快 将 其 关闭 ， 因 为 他 们 还 在 忙于 测试 软件 的 其 他 部 分 。 最 终 ， 关 闭 的 软件 缺陷 将 赶 上 解 
决 的 软件 缺陷 和 打开 的 软件 缺陷 ， 随 着 越 来 越 少 的 软件 缺陷 被 发 现 、 解 决 和 关闭 ， 曲 线 逐 渐 
趋 于 平坦 。 

该 图 表 说 明了 什么 ? 简 而 言 之 ， 填 充 区 域 显 示 了 程序 员 和 测试 员 还 要 做 多 少 工作 。 黑 色 
区 域 变 宽 ， 意 味 着 程序 员 在 修复 软件 缺陷 上 落得 越 来 越 远 。 深 灰色 区 域 变 宽 意 味 着 测试 员 难 
以 跟 上 程序 员 修复 的 进度 。 如 果 几 条 曲线 变 得 平坦 并 重合 ， 项 目 经 理 就 可 以 睡 得 更 好 了 。 


注意 ”该 图 表 一 般 采 用 彩色 显示 。 红 色 代 表 打 开 的 软件 缺陷 ,黄色 代 表 解 决 的 软件 缺 

陷 ， 而 绿色 代表 关闭 的 软件 缺陷 。 只 要 看 上 一 眼 就 可 以 说 出 项 目的 状态 : 红色 多 意味 

着 程序 员 的 工作 敬重 ; 黄色 多 意味 着 测试 员 的 工作 繁重 ; 绿色 多 意味 着 项 目 即 将 关 

闭 ， 准 备 发 布 了 。 

在 打开 数据 线 基 础 上 增加 解决 数据 线 和 关闭 数据 线 ， 并 全 部 放 在 同一 个 图 表 中 ， 为 整个 
项 目 提供 了 全 面 视 图 ， 有 助 于 消除 数据 的 误解 。 上 一 个 “注意 ”指出 ， 软 件 缺 陷 打 开 速 度 趋 
于 稳定 ， 可 能 意味 着 测试 员 要 么 找 不 出 软件 缺陷 ， 要 么 生病 了 没有 工作 。 数 据 没 有 说 出 是 哪 
一 种 原因 。 另 一 种 可 能 是 他 们 决定 暂时 把 软件 缺陷 关闭 几 天 ， 准 备 新 一 轮 测试 。 在 一 个 图 表 
中 包含 全 部 信息 ， 可 以 搞 清楚 发 生 了 什么 事情 。 考 虑 一 下 这 点 ， 看 看 本 章 小 测验 的 一 个 问题 。 


20.4 小 结 
本 章 提 到 的 个 人 和 项 目 级 度量 绝 不 是 一 成 不 变 的 清单 。 它 们 只 是 用 于 跟踪 和 评估 软件 项 
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目的 常见 的 度量 示例 。 每 一 个 项 目 小 组 、 测 试 经 理 和 测试 员 都 会 使 用 一 些 方法 得 到 与 他 们 正 
在 开发 的 软件 相关 的 信息 。 对 于 某 些 人 ， 跟 踪 软 件 缺 陷 的 平均 严重 性 可 能 最 重要 。 对 于 另 一 
些 人 ， 最 关心 的 是 软件 缺陷 修复 的 速度 有 多 快 。 测 试 员 可 能 想 知道 自己 每 天 找 出 多 少 软件 缺 
陷 或 者 缺陷 打开 与 修复 的 比例 大 小 。 使 用 度量 的 目的 是 评估 测试 员 和 项 目的 成 效 ， 获 知 一 切 
是 否 按 预定 计划 进行 ， 如 果 不 是 ， 应 该 怎样 修正 。 

第 21 章 “软件 质量 保证 ”将 介绍 革命 性 的 下 一 步 ， 超 越 了 软件 测试 ， 其 中 评估 不 仅仅 用 
于 评估 和 修正 某 一 个 项 目 ， 而 是 用 于 提高 整个 开发 过 程 。 


20.5 小 测验 


以 下 是 帮助 读者 加 深 理 解 的 小 测验 。 答 案 参见 附录 A 一 一 但 是 不 要 偷 看 ! 

1. 如 果 使 用 源 自 软件 缺陷 跟踪 数据 库 数据 的 度量 来 评估 进展 或 者 测试 成 效 ， 为 什么 只 计 
算 每 天 发 现 的 软件 缺陷 数目 或 者 平均 发 现 速度 是 不 充分 的 ? 

2. 根据 问题 1 的 答案 ， 列 举 可 以 更 精确 、 更 准确 评估 个 人 测试 进展 或 者 测试 成 效 的 一 些 其 
他 软件 度量 。 

3. 从 Calc-U-Lot v3.0 项 目 中 ， 提 取出 提交 给 Terry 的 所 有 已 解决 软件 缺陷 ， 其 数据 库 查 询 
是 什么 样 的 (任何 需要 的 格式 ) ? 

4. 如 果 某 项 目 中 软件 缺陷 发 现 速度 如 图 20-8 所 示 的 那样 下 降 ， 全 体 人 员 都 对 项 目 即将 关 
闭 准 备 发 布 表 示 兴 奋 ， 请 问 可 能 有 哪 两 个 原因 会 导致 这 种 受 数字 欺骗 的 假象 ? 
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一 开始 编程 ， 就 会 令 人 惊奇 地 发 现 ， 使 程序 正确 无 误 不 是 想像 的 那么 容易 。 我 清楚 地 音 
识 到 ， 从 此 我 生命 的 大 部 分 时 间 将 花费 在 在 自己 的 程序 中 寻找 错误 。 


一 一 英里 斯 威 尔 克 斯 (Maurice Wilkes )， 计 算 机 先驱 
没有 任何 事 是 十 分 安全 的 。 春 人 都 是 太 过 聪明 。 


一 一 匿名 


本 部 分 内 容 : 


第 21 章 软件 质量 保证 
第 22 章 软件 测试 员 的 职业 





第 21 
软件 质量 保证 


本 书 的 焦点 在 此 之 前 一 直 在 书 名 《软件 测试 》 上 。 前 面 已 经 讲述 了 如 何 计划 测试 、 从 嘱 
里 查找 软件 缺陷 、 如 何 找到 并 报告 软件 缺陷 。 因 为 你 新 接 触 软件 测试 领域 ， 所 以 应 该 首先 在 
这 些 领域 中 运用 所 学 技巧 。 

重要 的 是 培养 好 的 大 局 观 ， 以 理解 还 有 多 少 需要 完成 ， 以 及 离 专业 测试 员 还 有 多 少 差距 。 
本 章 以 及 第 六 部 分 “软件 测试 的 未 来 ”的 目标 是 从 总 体 上 对 软件 测试 改进 发 展 的 步伐 进行 概 
述 ， 指 出 前 进 的 方向 、 面 临 的 挑战 ， 激 励 软件 测试 员 把 提高 软件 质量 作为 最 终 目标 。 

本 章 重点 包括 : 

。 制 作 高 质量 软件 的 费用 

。 软 件 测试 和 软件 质量 保证 有 何不 同 

。 软件 测试 或 者 质量 团队 采用 何 种 方式 来 适应 项 目 小 组 

。 如 何 使 用 软件 能 力 成 熟 度 模型 

e ISO 9000 标 准 


21.1 质量 是 免费 的 


免费 的 ?不 可 能 吧 ? 是 的 ， 这 是 真 的 。 1979 年 ，Philip CrosbyS 在 《Quality is Free :The 
Art of Making Quality Certain》 一 书 中 写 道 ， 制 造 高 质量 的 产品 比 制造 低 质量 产品 实际 上 不 需 
要 额外 开销 (其实 开 销 更 小 )。 根 据 目前 我 们 掌握 的 关于 软件 测试 和 发 现 、 修复 软件 缺陷 的 工 
: 作 来 看 ， 这 似 平 是 不 可 能 的 ， 但 是 这 确实 是 真 的 。 
回想 第 1 章 “ 软 件 测 试 的 背景 ”( 在 此 以 图 21-1 的 形式 重复 出 现 )， 显 示 了 发 现 和 修复 费用 
随时 间 : 识 
而 是 按 指数 级 数 激增 。 

现在 ， 把 质量 的 费用 分 为 两 类 : 一 致 性 费用 (costs of conformance) 和 非 一 致 性 费用 
(costs of nonconformance ) 。 一 致 性 费用 是 指 与 一 次 性 计划 和 执行 测试 相关 的 全 部 费用 ， 用 于 
”保证 软件 按照 预期 方式 运行 。 如 果 发 现 了 软件 缺陷 ， 必 须 花 时 间 分 离 、 报 告 和 回归 测试 以 保 
证 其 得 以 修复 ， 那 么 非 一 致 性 费用 就 会 上 涨 。 因 为 这 些 软件 缺陷 在 发 布 之 前 发 现 ， 所 以 这 些 





全 Philip Crosby, Joesph Juran, W. Edwards Deming 被 人 称 为 “质量 之 父 "。 他 们 摆 写 了 大 量 书籍 ， 他 们 的 实践 结 
论 也 在 世界 范围 内 广泛 使 用 。 虽 然 他 们 的 著作 不 是 专门 针对 软件 的 ， 但 是 他 们 提出 的 概念 ， 常 常 是 直接 通用 
的 ， 适 用 于 所 有 领域 。 建 议 阅读 他 们 的 书 。 
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费用 归属 于 内 部 失败 (internal failures ) ， 主 要 处 于 图 21-1 的 左边 。 

如 果 软 件 缺 陷 被 遗漏 并 落 到 客户 手 里 ， 结 果 就 是 代价 昂贵 的 产品 支持 电话 ， 可 能 还 需要 
修复 、 重 新 测试 和 发 布 软件 一 一 更 糟糕 的 情况 下 一 一 产品 要 召回 或 者 卷 和 官司。 这些 外 部 失败 
(external failures ) 的 费用 属于 非 一 致 性 费 ， 处 于 图 21-1 的 右边 。 


修复 缺陷 的 费用 





编码 
缺陷 发 现 的 时 间 
图 21-1 如 果 软 件 缺 陷 在 早期 发 现 ， 代 价 就 很 小 


Crosby 在 他 的 书 中 演示 了 由 内 部 失败 引起 的 一 致 性 费用 加 上 非 一 致 性 费用 小 于 由 外 部 失 
败 引起 的 非 一 致 性 费用 。 尽 早 踢 出 软件 缺陷 ， 或 者 在 理想 的 情况 下 一 开始 就 没有 ， 产 品 的 开 
销 就 会 比 可 能 的 情况 要 小 。 质 量 是 免费 的 ， 这 是 普遍 常识 

遗憾 的 是 ， 一 部 分 软件 行业 已 经 在 采纳 这 个 简单 的 基本 思想 方面 迟 了 一 步 ， 项 目 在 开始 时 
想法 很 好 ， 然 后 随 着 问题 的 增多 和 时 间 进 度 的 越 来 越 近 ， 规 则 和 理由 都 被 抛 之 脑 后 。 要 相信 今 

天 的 工作 不 要 拖 到 明天 ， 这 样 才能 消除 未 来 更 大 的 费用 ， 整 个 局 势 就 会 扭转 。 现 在 的 公司 都 认 
。 识 到 自己 产品 质量 的 费用 太 高 ， 而 且 可 以 不 必 这 样 。 客 户 开始 提出 这 方面 的 要 求 ， 竞 争 对 手 也 
开始 制 做 质量 更 好 的 软件 。Crosby 在 25 年 前 为 制造 行业 所 写 的 话 在 今天 得 以 在 软件 中 得 到 实现 。 


21.2 工作 现场 的 测试 和 质量 保证 


根据 供职 的 公司 和 项 目 ， 测 试 员 描述 团队 职能 可 能 使 用 如 下 常用 名 称 : 软件 测试 、 软 件 质 
量 保证 、 软 件 质量 控制 、 软 件 验证 和 合法 性 检查 、 软 件 集成 和 测试 等 。 这 些 名 称 通常 可 以 互 换 
使 用 ， 或 者 从 中 挑选 一 个 而 不 是 另外 一 个 是 因 其 比较 “正式 ”一 一 例如 ， 软 件 质量 保证 工程 师 
与 软件 测试 员 相对 应 。 然 而 ， 重 要 的 是 要 意识 到 这 些 名 称 有 其 深 义 ， 相 互 不 得 替代 。 一 方面 有 
“只 是 一 个 名 字 ” 的 基本 思想 ， 最 终 的 工作 要 有 依据 。 另 一 方面 ， 任 务 名 称 或 者 是 团队 名 称 是 给 
小 组 中 其 他 人 看 的 。 这 个 标签 向 他 们 表明 如 何 合作 ， 可 以 期 望 得 到 什么 ， 可 以 交付 什么 ， 应 该 
提供 什么 。 下 一 节 定 义 了 一 些 常用 的 软件 测试 团队 的 名 称 ， 也 许 有 助 于 澄清 相互 之 间 的 差别 。 


21.2.1 软件 测试 


也 许 仍然 强调 得 不 够 ， 因 此 ， 在 此 再 次 声明 : 
软件 测试 员 的 目标 是 尽 可 能 早 一 些 找 出 软件 缺陷 ， 并 确保 其 得 以 修复 。 
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到 目前 为 止 ， 本 书 已 经 讲述 了 如 何 实现 该 目标 ， 以 及 实现 该 目标 的 实质 和 局 限 性 。 也 许 
读者 现在 已 经 认识 到 《如 果 没 有 ， 也 没关系 ) 软件 测试 可 以 简单 描述 为 评价 、 报 告 和 按 步 执 
行 。 找 出 软件 缺陷 ， 有 效 地 描述 它们 ， 通 知 相应 的 人 ， 并 跟踪 软件 缺陷 直至 解决 。 


注意 ”本 书 中 使 用 的 软件 测试 员工 作 定义 实际 上 上 比 评价 、 报 告 和 按 步 执行 更 进一步 ， 
加 上 了 “并 确保 软件 缺陷 得 以 修复 ”这 向 话 。 尽 管 菜 些 测试 团队 用 更 简单 的 “并 报告 
它们 ”来 代替 最 后 一 向 ， 但 是 作为 一 个 实际 的 测试 员 ， 要 对 找 出 的 软件 缺陷 负 起 责任 ， 
在 整个 生命 周期 中 跟踪 缺陷 ， 说 服 相关 人 员 使 其 得 以 修复 。 简 洁 的 解决 方式 是 把 它们 
放 在 软件 缺陷 数据 库 中 ,期待 最 终 有 人 引起 注意 并 进行 相应 的 处 理 ， 但 是 假如 要 做 的 
仅仅 是 测试 ， 就 会 让 人 抱怨 为 什么 要 把 不 厌 其 烦 地 找 出 软件 缺陷 放 在 第 一 位 。 


按照 这 些 原则 和 规章 进行 工作 的 软件 测试 员 具 有 一 个 非常 独特 和 重要 的 特征 : 软件 测试 
员 不 负责 软件 的 质量 ! 这 似乎 很 奇怪 ， 但 确实 是 这 样 。 你 未 曾 把 软件 缺陷 加 到 软件 中 ， 你 让 
项 目 经 理 和 程序 员 审查 通过 了 测试 计划 ， 你 不 折 不 扣 执 行 了 计划 ， 然 而 虽然 尽 了 力 ， 软 件 仍 
然 有 缺陷。 这 就 不 是 你 的 错 了 ! 

好 好 想 一 想 吧 。 医 生 量 体 温 不 能 退烧 ; 气象 专家 测 风速 不 能 阴 止 风暴 ; 软件 测试 员 寻 找 
缺陷 并 不 能 使 质量 低劣 的 产品 变 好 。 软 件 测 试 员 只 是 报告 事实 。 即 使 测试 员 竟 尽 全 力 使 发 现 
的 软件 缺陷 都 得 以 修复 ， 也 不 能 使 质量 本 身 低 劣 的 产品 变 好 ， 质 量 不 是 靠 测试 来 解决 的 。 


注意 茶 些 公司 移 信 ， 质 量 可 以 依靠 测试 来 解决 。 他 们 不 是 改善 软件 开发 的 过 程 ， 而 

是 相信 和 多 加 几 个 测试 员 就 可 以 解决 质量 问题 的 。 他 们 认为 ， 多 加 测试 员 可 会 多 发 现 软 

件 缺 陷 ， 从 而 使 产品 变 得 更 好 。 有 趣 的 是 ， 同 样 是 这 些 人 ， 他 们 却 不 认为 多 用 几 个 体 

温 计 会 退烧 。 

如 果 在 称 为 “软件 测试 ”的 团队 中 工作 ， 就 要 由 测试 经 理 负责 使 项 目 小 组 了 解 软件 测试 
员 的 角色 定义 。 赶 不 上 进度 和 遗漏 软件 缺陷 通常 是 大 家 争论 的 焦点 ， 这 一 点 最 好 在 项 目的 测 
试 计划 中 提前 进行 淤 清 。 
21.2.2 质量 保证 ， 


对 于 和 寻找 软件 缺陷 的 团队 而 言 ， 另 一 个 常用 的 名 称 是 “软件 质量 保证 (QA)”。 第 3 章 | 
“软件 测试 的 实质 ”使 用 了 质量 保证 人 员 的 定义 ， 如 下 : 

软件 质量 保证 人 员 的 主要 职责 是 检查 和 评价 当前 软件 开发 的 过 程 ， 找 出 改进 过 程 的 方法 ， 
以 达到 防止 软件 缺陷 出 现 的 目标 。 

现在 我 们 对 软件 测试 已 经 有 了 很 多 了 解 ， 上 述 定义 似乎 与 比 在 第 3 章 头 一 次 看 到 时 更 令 人 
心 惊 胆寒 。 软 件 QA 团 队 比 软件 测试 团队 的 责任 更 大 一 一 至 少 根 据 其 名 称 描述 应 该 如 此 。 

保证 (assurance) 的 定义 是 “一 种 担保 、 确 保 ” 或 “ 毫 无 疑问 、 没 有 问题 "， 所 以 QA 团 
“ 队 的 角色 是 毫 无 疑问 地 保证 产品 具有 高 质量 。 如 果 你 们 是 软件 测试 团队 ， 就 可 以 看 到 为 什么 
不 愿 被 冠 以 这 个 认为 更 著名 的 头衔 ， 让 用 户 发 现 了 任何 缺陷 就 是 工作 的 失败 。 

既然 单 靠 软件 测试 无 法 保证 产品 的 质量 ， 那 么 软件 QA 团队 如 何 实 现 上 且 标 呢 ? 答案 是 对 项 
目 进行 近似 完全 的 控制 ， 建 立 标准 和 方法 论 ， 有 条 理 地 仔细 监视 和 评估 软件 开发 过 程 ， 对 发 
现 的 过 程 问题 反馈 解决 建议 ， 执 行 测试 (或 者 检查 )， 拥 有 决定 产品 何 时 准备 发 布 的 授权 。 让 
项 目 经 理 以 实现 “无 缺陷 ”为 首要 目标 ， 而 不 是 使 软件 如 期 发 布 或 低 于 预算 ， 虽 然 是 过 于 简 











肿 六 半分 “ 款 件 测试 的 夫 来 





单 的 说 法 ， 但 这 是 一 个 相当 不 错 的 描述 。 

本 章 以 下 内 容 将 进一步 说 明 从 软件 测试 到 软件 质量 保证 是 一 个 渐进 的 过 程 ， 一 种 逐渐 提 
高 成 熟 度 的 方法 。 这 不 是 一 跌 而 就 的 一 一 不 可 能 昨天 还 是 软件 测试 员 ， 今 天 就 是 QA 人 员 。 

实际 上 ， 如 果 从 某 个 分 界线 恰当 界定 软件 缺陷 的 防范 、 内 部 失败 和 外 部 失败 ， 本 书 所 讲 
的 某 些 技能 就 可 以 当做 软件 QA 技 能 。 如 果 软 件 QA 的 目标 是 防范 软件 缺陷 ， 在 产品 说 明 书 、 
设计 文档 和 代码 上 执行 静态 测试 (第 4 章 “ 检 查 产品 说 明 书 ”和 第 6 章 “ 检 查 代码 ”) 就 算得 上 
是 一 种 软件 QA， 因 为 这 样 防止 了 软件 缺陷 的 出 现 。 以 这 种 方式 发 现 的 软件 缺陷 根本 不 会 留 到 
软件 测试 员 测 试 最 终 软件 时 发 现 。 


全 面 质量 管理 

大 家 可 能 听 说 过 称 为 全 面 质量 管理 (TQM) 或 者 全 面 质量 控制 (TQC) 的 质量 控 
制 方法 。 该 方法 的 基本 思想 是 ， 用 集中 的 质量 保证 团队 来 负责 质量 是 不 实际 的 ， 因 为 
从 事 工作 的 人 员 一 编写 代码 或 者 制作 小 工具 一 一 并 不 负责 质量 ， 所 以 他 们 不 会 设法 
实现 质量 保证 的 目的 。 要 想 制造 高 质量 的 产品 ， 需 要 创立 从 管理 开始 自 上 而 下 的 质量 
化 ， 使 全 体 人 员 共 同 承担 质量 责任 。 

尽管 TQM/TQC 与 现 有 的 质量 保证 团队 的 工作 有 很 大 的 关联 ， 但 是 并 不 排除 对 软 
件 测试 的 需要 。 完 全 相反 ， 软 件 测试 的 作用 在 此 环境 中 被 更 清晰 地 定义 。 无 论 过 程 中 
付出 多 么 大 的 努力 ， 软 件 终究 是 由 人 建立 的 ， 是 人 就 会 犯错 误 。 所 以 仍然 需要 一 个 团 
队 专 心 寻 找 软 件 缺 陷 。 他 们 也 诉 找 不 到 多 少 软件 缺 队 ， 但 是 勿 以 普 小 而 不 为 。 





21.2.3 软件 测试 团队 的 其 他 名 称 


测试 团队 根据 其 工作 性 质 可 能 使 用 多 个 名 称 来 标识 。 软 件 质 量 控制 (SQC) 是 最 常用 的 名 
称 。 该 名 称 来 源 于 制造 行业 ， 其 中 QC 检验 员 对 生产 线 上 的 产品 进行 采样 、 检 测 ， 如 果 检 测 失 
败 ， 他 有 权 停 掉 生 产 线 或 者 整个 工厂 。 软件 测试 团队 却 很 少 有 这 种 授权 一 一 即 使 那些 被 称 为 
软件 QC 的 团队 也 不 例外 。 

软件 确认 和 验证 也 常用 于 描述 软件 测试 组 织 。 该 名 称 实际 上 是 最 合适 的 名 称 之 一 。 尽管 
字数 多 了 一 些 。 但 是 它 准确 地 说 出 了 测试 团队 的 职责 和 工作 。 请 回顾 第 3 章 中 关于 确认 和 验证 
的 定义 。 如 果 可 以 有 两 个 团队 ， 那 么 一 个 负责 确认 ， 另 一 个 负责 验证 。 

集成 和 测试 、 构 造 和 测试 、 配 置 管 理 和 测试 、 测 试 和 实验 室 管 理 以 及 其 他 不 相干 名 称 的 
组 合 常常 是 存在 问题 的 表示 。 软 件 测试 团队 多 次 自愿 或 者 不 自愿 地 扮演 了 测试 无 关内 容 的 角 
色 。 例 如 ， 软 件 测试 团队 进行 配置 管理 或 者 构造 软件 是 不 正常 的 。 这 样 做 的 问题 有 两 个 方面 : 

。 占用 了 应 该 用 于 测试 产品 的 资源 。 

。 测试 团队 的 最 终 目 标 是 破坏 而 不 是 建立 ， 承 担 软 件 的 构造 过 程 形成 利益 的 冲突 。 

最 好 让 程序 员 或 者 独立 小 组 构造 软件 。 测 试 应 该 专注 于 寻找 软件 缺陷 。 


21.3 测试 的 管理 和 组 织 结 构 


除了 测试 团队 的 名 称 及 其 预定 职责 之 外 ， 还 有 一 个 属性 对 测试 团队 做 什么 和 如 何 与 项 目 
小 组 合作 产生 极 大 影响 。 该 属性 是 ， 测 试 团队 如 何 适应 公司 的 整个 管理 结构 。 可 用 的 组 织 结 
构 很 多 ， 分 别 有 其 优势 和 不 足 。 虽 然 有 些 组 织 结构 宣称 比 其 他 组 织 结构 都 强 ， 但 是 对 一 个 好 ， 
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不 一 定 对 另 一 个 好 。 如 果 在 软件 测试 中 工作 时 间 不 确定 ， 就 可 能 面临 很 多 组 织 结构 。 以 下 是 
一 些 常见 的 例子 。 

图 21-2 显 示 了 小 型 《小 于 10 人 ) 开发 小 组 常用 的 结构 。 在 该 结构 中 ， 由 测试 团队 向 管理 
程序 员工 作 的 开发 经 理 报 告 。 假 定 读者 已 经 了 解 了 软件 测试 ， 就 会 发 现 这 样 会 引起 一 个 红色 
的 警告 一 一 编写 代码 的 人 和 在 代码 中 寻找 软件 缺陷 的 人 向 同一 个 人 报告 ， 这 有 可 能 引起 潜在 
的 大 问题 。 





图 21-2 小 型 项 目的 组 织 结构 通常 让 测试 小 组 向 开发 经 理 报告 


利益 冲突 在 所 难免 。 开 发 经 理 的 目标 是 推进 其 小 组 开发 软件 。 测 试 员 报告 软件 缺陷 只 会 
妨碍 该 过 程 。 测 试 员 这 边 工作 得 好 就 会 使 程序 员 那 边 情况 不 妙 ， 如 果 经 理 为 测试 员 提供 更 多 
资源 和 经 费 ， 他 们 会 找 出 更 多 软件 缺陷 ， 但 是 他 们 找 出 的 软件 缺陷 越 多 ， 就 越 妨碍 经 理 开发 
软件 的 目标 。 

抛 开 这 些 负面 影响 ,假如 开发 经 理 经 验 丰富 ,认识 到 其 目标 不 仅 是 开发 软件 ,而 且 要 开发 高 
质量 的 软件 ， 该 结构 也 可 以 工作 得 很 好 。 这 样 的 经 理会 把 测试 员 和 程序 员 一 视 同仁 。 这 也 是 
有 利于 相互 交流 的 较 好 组 织 结构 ， 其 管理 员 层次 最 少 ， 测 试 员 和 程序 员 可 以 非常 高 效 地 
协作 。 

图 21-3 显 示 了 另 一 种 常用 组 织 结构 ， 测 试 团队 和 开发 团队 都 向 项 目 经 理 报告 。 在 该 组 织 
方式 下 ， 测 试 团队 一 般 有 自己 的 负责 人 或 者 经 理 ， 其 利益 和 注意 力 集中 在 测试 小 组 及 其 工作 
上 。 这 种 独立 性 在 对 软件 质量 做 重大 决定 时 极 有 好 处 。 测 试 小 组 的 意见 和 程序 员 以 及 其 他 参 
与 产品 制作 者 的 意见 是 同等 重要 的 。 






测试 经 理 / 测 试 领导 
测试 员 | 


图 21-3 在 测试 小 组 向 项 目 经 理 报 告 的 组 织 方式 中 ， 测 试 员 对 程序 员 相对 独立 
然而 ， 该 组 织 结构 的 缺点 是 项 目 经 理 对 质量 进行 最 终 决定 。 这 也 许 没 问题 ， 在 不 少 类 型 
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的 软件 行业 中 很 容易 按 受 。 但 是 在 高 风险 或 者 任务 要 求 严格 的 系统 开发 中 ， 关 于 质量 的 意见 
有 更 高 层 的 声音 是 有 利 的 。 如 图 21-4 所 示 的 组 织 方式 代表 此 类 结构 。 

在 该 组 织 方式 中 ， 负 责 软 件 质量 的 小 组 直接 向 高 级 经 理 报告 ， 相 对 独立 ， 拥 有 与 各 项 目 
同等 的 项 目 等 级 。 授 权 等 级 一 般 是 质量 保证 级 ， 而 不 仅仅 是 测试 级 。 该 团队 持 有 的 独立 性 允 
许 他 们 建立 标准 和 规范 ， 评 价 结果 ， 采 取 跨 越 多 个 项 目的 处 理 措施 。 关 于 质量 优 劣 的 信息 可 
以 直达 最 高 层 。 






质量 保证 / 视 试 经 理 | 


图 21-4 向 执行 经 理 报告 的 质量 保证 团队 或 者 测试 团队 独立 性 最 强 、 权 限 最 大 、 职 责 最 大 


当然 ， 伴 随 着 授权 而 来 的 是 相应 的 责任 和 限制 。 仅 仅 因 为 团队 相对 于 项 目 独立 ， 并 不 意 
味 着 他 们 可 以 在 软件 项 目 和 用 户 未 要 求 的 前 提 下 ， 建 立 不 合理 和 难以 实现 的 质量 目标 。 在 数 
据 库 软 件 中 工作 良好 的 公司 质量 标准 可 能 在 应 用 于 计算 机 游戏 时 无 法 正常 工作 。 为 了 获得 成 
效 ， 这 个 独立 质量 组 织 必须 设法 与 他 们 面 对 的 所 有 项 目 协作 ， 利 用 发 布 软件 的 现实 调和 盲目 
追求 质量 的 热情 。 - 

请 记 住 这 3 个 组 织 结构 只 是 众多 可 用 类 型 的 简化 示例 ,对 每 一 种 组 织 结构 的 正 反 两 个 方面 讨 
论 可 能 千差万别 。 在 软件 开发 和 测试 中 ,一 种 规格 不 一 定 适应 所 有 情况 ,对 一 个 小 组 适用 ,对 另 
， 一 个 小 组 就 可 能 不 适用 。 然 而 ， 有 一 些 常用 的 可 以 用 来 评价 结果 的 度量 以 及 有 一 些 可 以 遵循 
的 规则 已 经 由 各 种 项 目 和 小 组 在 提高 质量 等 级 的 工作 中 得 到 证 明 。 在 以 下 两 节 中 ， 将 讲述 关 
于 它们 的 一 些 内 容 ， 以 及 使 用 的 方法 。 


21.4 能 力 成 熟 度 模 型 (CMM) 


软件 的 能 力 成 熟 度 模型 《CMM) 是 一 个 行业 标准 模型 ， 用 于 定义 和 评价 软件 公司 开发 过 
程 的 成 熟 度 ， 提 供 怎 样 做 才能 提高 软件 质量 的 指导 。 它 是 在 美国 国防 部 的 指导 下 ， 由 软件 开 
发 团体 和 软件 工程 学 院 (SEI) 及 Carnegie Mellon 大 学 共同 开发 的 。 

CMM 的 特别 之 处 在 于 它 是 通用 的 ， 同 等 适用 于 任意 规模 的 软件 公司 一 一 从 世界 上 最 大 的 
公司 到 个 人 顾问 。 它 的 5 个 等 级 ( 见 图 21-5) 为 评测 公司 软件 开发 的 成 熟 度 提供 了 简单 的 手段 ， 
确定 了 步 和 下 一 级 成 熟 度 的 关键 措施 。 

在 往 下 阅读 和 了 解 达到 这 5 个 等 级 必须 的 条 件 时 ， 思 考 以 下 问题 : 从 当今 整个 软件 公司 现 
状 来 看 ， 最 多 的 成 熟 度 为 1 级 ， 多 数 成 熟 度 为 2 级 ， 少 数 成 熟 度 为 3 级 ， 极 少数 成 熟 度 为 4 级 ， 
成 熟 度 为 5 级 的 更 是 凤 毛 锯 角 。5 级 CMMI 成 熟 度 描 述 如 下 : 

。 1 级 .初始 的 。 该 等 级 的 软件 开发 过 程 是 随意 的 ， 常 常 很 混乱 。 项 目 成 功 依靠 个 人 英雄 

的 行为 和 运气 。 过 程 没 有 通用 的 计划 、 监 视 和 过 程控 制 。 开 发 软件 的 时 间 和 费用 无 法 预 

知 。 测 试 过 程 与 其 他 过 程 混杂 在 一 起 。 

e。 2 级 : 可 重复 的 。 该 等 级 成 熟 度 的 最 好 描述 是 项 目 级 的 思想 。 使 用 基本 项 目 管理 过 程 来 
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CMM 软 件 成 熟 度 级别 









5 通 社 量化 的 反馈 和 新 闪 全 实现 桂 续 的 过 各 
4 可 控制 的 过 各 对 过 程 和 产品 质量 的 详细 评 ， 
3 组 织 级 别 的 思想 , 预先 考虑 的 。 文 档 化 和 标 


2 el sn 反应 式 的 。 类 似 的 项 目 成 功 
可 以 重用 。 


1 随意 和 混乱 的 过 程 。 项 目的 成 功 依赖 个 人 英 
雄 的 行为 和 运气 。 


图 21-5 软件 能 力 成 熟 度 模型 用 于 评测 软件 公司 在 软件 开发 方面 的 成 熟 度 


跟踪 项 目 费用 、 进 度 、 功 能 和 质量 。 以 前 类 似 的 项 目 经 验 可 以 应 用 到 当前 项 目 中 。 该 等 
级 有 一 定 的 组 织 性 ， 使 用 了 基本 软件 测试 行为 ， 例 如 测试 计划 和 测试 用 例 。 

。3 级 : 定义 的 。 该 等 级 具备 了 组 织 化 思想 ， 而 不 仅仅 是 针对 具体 项 目 。 通 用 管理 和 工程 
活动 被 标准 化 和 文档 化 。 这 些 标准 在 不 同 的 项 目 中 采用 并 得 到 证 实 。 当 压力 增加 时 ， 不 
会 放弃 规则 。 在 测试 开始 之 前 ， 要 审查 和 批准 测试 文档 和 计划 。 测试 团队 与 开发 人 员 独 
立 。 测 试 结果 用 于 确定 软件 完成 的 时 间 。 

。 4 级: 可 管理 的 。 在 该 成 熟 度 等 级 中 ， 组 织 过 程 处 于 统计 的 控制 之 下 。 产 品质 量 事先 以 
量化 的 方式 指定 〈 例 如， 产品 直到 每 1000 行 代码 只 有 0.5 个 以 下 毛病 才能 发 布 )， 软 件 在 
未 达到 目标 之 前 不 得 发 布 。 在 整个 项 目 开发 过 程 中 ， 收 集 开发 过 程 和 软件 质量 的 详细 情 
况 ， 经 过 调整 校正 偏差 .使 项 目 按 计划 进行 。 

。5 级 : 不断 优 化 的 。 该 等 级 称 为 不 断 优化 (不 是 “已 经 优化 ”) 是 因为 它 从 4 级 不 断 提高 。 
尝试 新 的 技术 和 处 理 过 程 , 评价 结果 , 采用 提高 和 创新 的 变动 以 期 达到 质量 更 佳 的 等 级 。 
正当 所 有 人 认为 已 经 达到 最 佳 时 ， 新 的 想法 又 出 现 了 ， 再 次 提高 到 下 一 个 等 级 。 

这 些 等 级 中 有 哪 一 个 与 我 们 知道 的 某 家 软件 开发 公司 所 采用 的 过 程 相似 ?想到 大 量 软件 是 

在 1 级 开发 的 ， 真 是 令 人 害怕 一 一 但 是 在 使 用 这 些 软 件 之 后 就 不 会 惊奇 了 。 你 想 走 一 走 用 1 级 
开发 的 大 桥 吗 ” 乘 电梯 ,或 者 坐 飞 机 呢 ? 也 许 不 会 。 最 后 一 但 愿 一 -客户 对 软件 质量 提出 更 
高 的 要 求 ， 于 是 各 公司 开始 提高 自己 的 软件 开发 成 熟 度 。 

注意 一 定 要 认识 到 倡导 公司 提高 软件 开发 成 熟 度 不 是 软件 测试 员 的 事 。 这 需要 在 企 

业 级 别 上 ， 自 上 而 下 实行 。 当 你 开始 新 的 测试 工作 时 ， 应 该 确定 公司 和 新 的 小 组 处 于 

哪 一 级 的 成 熟 度 。 了 解 了 所 处 的 等 级 ， 或 者 追求 的 等 级 ， 有 助 于 定 出 期 望 值 ， 而 且 要 

好 地 理解 他 们 对 你 的 期 望 。 


关于 能 力 成 熟 度 模型 的 更 多 信息 ， 请 访问 软件 工程 学 院 的 网 址 : www.sei.cmu .edu/cmmi。 
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21.5 ISO 9000 


与 软件 质量 有 关 的 另外 一 套 标准 是 国际 标准 化 组 织 (ISO) 9000。ISO 是 一 个 国际 化 标准 
组 织 ， 为 小 到 螺栓 、 螺 母 ， 大 到 质量 管理 和 质量 保证 ( 即 ISO 9000) 建立 标准 。 

你 可 能 听 说 过 ISO 9000， 或 者 在 公司 产品 、 服 务 广告 中 注意 到 它 。 它 通常 是 公司 名 称 旁 
边 的 小 徽标 或 者 标记 。 要 想 获得 ISO 9000 认 证 决 非 轻而易举 的 事 ， 因 此 获得 它 的 公司 希望 客 
户 知道 这 一 事 

ISO 9000 是 关于 质量 管理 和 质量 保证 的 一 系列 标准 ， 定 义 了 一 套 基 本 达标 的 实践 ， 帮 助 
公司 不 断 地 交付 符合 客户 质量 要 求 的 产品 〈 或 者 服务 ) 。 无 论 公 司 是 一 家 修理 铺 ， 还 是 拥有 数 
十 亿 资 金 的 集团 公司 ， 是 制作 软件 、 鱼 饵 还 是 配送 快餐 ， ISO 9000 都 适用 。 好 的 管理 实践 对 
它们 同等 适用 。 

ISO 9000 用 得 很 好 的 原因 有 两 个 : 

。 它 的 目标 在 于 开发 过 程 ， 而 不 是 产品 。 它 关心 的 是 进行 工作 的 组 织 方式 ， 而 不 是 工作 成 

果 。 它 不 是 设法 规定 生产 线 上 的 小 产品 或 者 光盘 中 软件 的 质量 等 级 。 我 们 已 经 知道 ， 质 

量 是 相对 的 、 主 观 的 。 公 司 的 目标 应 该 是 达到 满足 客户 要 求 的 质量 等 级 。 利 用 满足 质量 

的 开发 过 程 有 助 于 实现 该 目标 。 

e。 ISO 9000 只 决定 过 程 的 要 求 是 什么 ,而 不 管 如 何 达 到 。 例 如 ， 标 准 声 明 软件 小 组 应 该 计 

划 和 实施 产品 设计 审查 ( 见 第 4 章 和 第 6 章 ), 但 是 没有 说 如 何 才能 达到 这 个 要 求 。 实 施 

设计 审查 是 负责 任 的 设计 小 组 应 该 做 的 〈 这 是 ISO 9000 中 为 什么 有 这 一 条 的 原因 )， 但 

是 如 何 组 织 和 执行 设计 审查 完全 取决 于 制造 产品 的 各 个 小 组 。ISO 9000 指 出 要 做 什么 ， 

但 是 不 指出 怎么 做 。 


注意 “一 家 公司 得 到 了 ISO 9000 认 证 ， 表 示 它 在 开发 过 程 中 达到 某 种 质量 控制 等 级 。 
这 不 意味 着 其 产品 达到 了 某 种 质量 等 级 一 一 尽管 可 以 说 其 产品 可 能 比 未 获得 ISO 9000 
认证 的 公司 产品 质量 要 更 好 一 些 。 

基于 此 原因 ， 特 别 是 在 欧盟 ， 但 是 现在 在 美国 更 常见 的 现象 是 ， 客 户 期 望 产 品 供 
贷方 获得 ISO 9000 认 证 。 如 采 两 个 供 货 商 争 李 同一 份 订货 合同 ， 那么 拥有 ISO 9000 认 
证 者 具有 优势 的 竞争 地 位 。 


ISO 9000 标 准 中 针对 软件 的 部 分 是 ISO 9001 和 ISO 9000-3。ISO 9001 负 责 设计 、 开 发 、 生 
产 、 安 装 和 服务 产品 方面 的 事务 。ISO9000-3 负 责 开 发 、 供 应 、 安 装 和 维护 计算 机 软件 方面 的 
事务 。 

本 章 不 可 能 详 述 关于 软件 的 所 有 ISO 9000 要 求 ， 但 是 下 列 清 单 会 大 略 介绍 标准 包含 哪 几 
类 原则 。 但 愿 它 令 人 感到 欣慰 地 知道 有 一 个 国际 化 的 倡导 活动 ， 帮 助 公司 建立 更 好 的 软件 开 
发 过 程 ， 并 开发 质量 更 好 的 软件 。 

ISO 9000-3 中 的 一 些 要 求 包括 : 

。 开 发 详细 的 质量 计划 和 程序 控制 配置 管理 、 产品 确认 和 验证 (测试 )、 不 一 至 行为 ( 软 

件 缺 陷 ) 和 纠正 操作 (修复 )。 

。 准备 和 接受 对 软件 开发 计划 的 正式 批准 ,计划 包括 项 目 定义 、 产品 目标 清单 、 项 目 进度 、 

产品 说 明 书 、 如 何 组 织 项 目的 描述 、 风 险 和 假设 的 讨论 ， 以 及 控制 策略 。 

。 使 用 客户 容易 理解 ， 测 试 时 容易 验证 的 术语 来 表述 说 明 书 。 
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。 计划 、 开 发 、 编 制 和 实施 软件 设计 审查 程序 。 

。 开发 控制 软件 设计 随 着 产品 的 生命 周期 而 变动 的 程序 。 

。 开发 和 编制 软件 测试 计划 。 

“。 开 发 检测 软件 是 否 满足 客户 要 求 的 方法 。 

。 实施 软件 验证 和 接受 性 测试 。 

。 维护 测试 结果 的 记录 。 

。 控制 软件 缺陷 的 查找 和 解决 。 

。 证 明 产 品 在 发 布 之 前 就 已 经 就 绪 。 

。 开发 控制 产品 发 布 过 程 的 程序 。 

。 明确 指出 和 规定 应 该 收集 何 种 质量 信息 。 

。 使 用 统计 技术 分 析 软 件 开 发 过 程 。 

。 使 用 统计 技术 评估 产品 质量 。 

这 些 要 求 目 前 对 于 读者 来 说 ， 应 该 显得 相当 基本 和 普通 了 。 你 甚至 会 想 ， 软 件 公司 不 经 
过 这 些 过 程 怎么 能 开发 出 软件 昵 ， 令 人 惊奇 的 是 ， 这 太 可 能 了 。 但 是 它 的 确 说 明了 市 场 上 为 
什么 有 不 少 软件 会 有 那么 多 缺陷 。 但 愿 经 过 一 段 时间 ， 竞 争 对 手 和 客户 要 求 会 迫使 软件 行业 
的 各 家 公司 采用 ISO 9000 作 为 经 营 方式 。 

如 果 个 人 有 兴趣 了 解 ISO 9000 标 准 的 详情 ， 或 者 所 在 公司 还 在 进行 ISO 9000 认 证 ， 可 查 
看 如 下 网 址 : 

e 国际 标准 化 组 织 (ISO)，www.iso.ch 

。 美国 质量 协会 (ASQ),， www.asq.org 

e 美国 国家 标准 学 会 (ANSI) ，www,ansi.org 


21.6 小 结 


Murphy 法 则 之 一 称 ， 永远 不 会 有 足够 的 时 间 把 事 做 好 一 一 但 是 总 有 时 间 返 工 一 一 就 像 
CMMI1 级 公司 ， 对 吧 ? 忘掉 Murphy， 想 想 Philip Crosby。 他 声称 质量 其 实 是 免费 的 说 法 是 正确 
的 。 关 键 是 软件 开发 小 组 遵循 一 个 过 程 ， 多 花费 一 些 时 间 ， 有 条 有 理 地 ， 一 开始 就 设法 做 对 。 
| 当然 ， 无 论 所 有 人 多 么 努力 ， 错 误 总 会 犯 , 软件 缺陷 总 会 出 现 。 软 件 质 量 保证 的 目标 是 
确信 它们 属于 真正 的 错误 ， 并 且 不 是 由 开发 过 程 中 的 基本 问题 引起 的 。 即 使 在 执行 再 好 的 组 
织 中 软件 测试 也 是 必 不 可 少 的 ， 但 是 如 果 一 切 得 到 很 好 地 执行 ， 就 会 减少 这 样 的 说 法 : “我 今 

天 没有 发 现任 何 软件 缺陷 ,但 愿 明天 不 会 如 此 。” 
本 书 接近 尾声 ， 关 于 软件 测试 基本 介绍 完了 ， 还 有 一 章 讲 述 如 何在 软件 测试 中 获得 经 验 ， 
到 哪里 寻找 更 多 信息 。 


21.7 ”小 测验 


以 下 是 帮助 读者 加 强 理解 的 小 测验 。 答 案 参 见 附录 人 A 一 一 但 是 不 要 偷 看 ! 

1. 测试 费用 为 什么 与 一 致 性 的 费用 相关 ? 

2. 判断 是 非 : 测试 小 组 负责 质量 。 

3. 为 什么 要 获得 QA 工 程 师 的 称号 是 难以 做 到 的 ? 

4. 为 什么 测试 小 组 或 者 质量 保证 小 组 独立 向 高 级 管理 员 报 告 好 ? 

5. 如 果 某 公司 在 软件 中 编 入 ISO 9000-3 标 准 ， 那 么 它 的 CMM 级 是 多 少 ? 为 什么 ? 





第 22 章 
软件 测试 员 的 职业 


现在 到 了 软件 测试 的 最 后 一 章 。 这 也 许 是 本 书 的 最 后 一 章 ， 但 是 绝对 不 是 最 后 的 工作 。 
在 这 个 领域 的 工作 才刚 刚 开 始 。 

你 可 能 在 不 怎么 了 解 软 件 测试 为 何 物 的 前 提 下 开始 阅读 本 书 。 你 在 家 里 或 者 工作 中 使 用 
的 计算 机 上 使 用 软件 时 肯定 经 历 过 小 小 的 困扰 和 偶然 的 软件 崩溃 现象 。 你 看 过 、 听 说 过 严重 
软件 缺陷 的 新 闻 故 事 ， 知 道 黑客 为 什么 和 怎样 侵入 你 的 计算 机 。 

但 愿 你 已 经 清楚 地 理解 了 为 什么 无 论 人 们 在 软件 背后 多 么 努力 ， 这 些 软件 缺陷 仍 会 出 现 。 
你 已 经 了 解 了 测试 计划 过 程 ， 从 哪里 寻找 软件 缺陷 ， 如 何 报告 它们 。 你 现在 明白 了 围绕 着 确 
定 哪 些 软件 缺陷 要 修复 、 哪 些 杰 推迟 的 艰难 决定 过 程 ， 见 过 了 显示 产品 准备 发 布 和 距 发 布 相 
差 甚 远 的 图 表 。 

除 上 述 内 容 之 外 ， 现 在 你 应 该 明白 ， 软 件 测 试 是 一 项 复杂 而 艰巨 的 任务 。 要 想 获得 成 功 ， 
需要 组 织 、 训 练 和 实践 。 只 是 坐 下 来 乱 喜 键盘， 当 发 现 某 些 偶然 现象 时 向 程序 员 隔 墙 大 喊 ， 
是 不 能 解决 问题 的 。 软 件 太 重要 了 。 因 为 软件 缺陷 ， 生 意 失 败 、 职 业 被 毁 、 致 死命。 软件 
测试 员 的 任务 是 在 它们 传播 出 去 之 前 ， 高 效 而 专业 地 找 出 这 些 软件 缺陷 。 

最 后 一 章 将 提供 关于 软件 测试 详情 的 指南 ， 介 绍 一 些 现 实 可 行 的 职业 选择 ， 并 留 下 关于 
软件 质量 的 一 条 重要 信息 。 

本 章 重 点 包括 : 

。 软件 测试 员 的 职业 道路 选择 

。 到 哪里 寻求 测试 工作 

。 如何 获得 更 多 的 寻找 软件 缺陷 的 亲身 体验 

。 从 哪里 学 习 软件 测试 的 更 多 知识 

。 计算 机 用 户 的 权利 法 案 


22.1 软件 测试 员 的 工作 


对 软件 测试 更 大 的 误解 是 ,将 其 当做 软件 行业 中 入 门 级 的 位 置 。 这 个 错误 的 想法 仍然 有 
人 坚持 ,是 因为 软件 测试 的 实质 和 内 容 被 忽视 一 一 主要 原因 是 为 数 不 少 的 公司 仍然 在 没有 任何 
实际 过 程 的 情况 下 开发 软件 。 他 们 还 不 知道 需要 各 种 级 别 的 软件 测试 员 来 制作 优秀 软件 。 但 
是 ， 随 着 越 来 越 强调 开发 的 软件 的 质量 ， 软 件 测试 职业 的 价值 逐步 得 到 认可 。 

由 于 认识 不 断 加 强 ， 机 会 也 随 之 而 来 。 只 有 几 年 工作 经 验 的 软件 测试 员 就 会 成 为 实 手 可 








种 22 间 ” 款 件 测试 员 的 如 业 235 


热 的 人 物 。 能 够 编程 和 执行 白 盒 测试 或 者 开发 自动 化 测试 的 测试 员 更 是 人 才 难 求 。 另 外 ， 如 
果 一 个 人 经 历 过 一 些 产品 开发 周期 ， 而 且 能 够 领导 测试 小 组 ， 那 么 他 的 地 位 就 会 非常 高 。 对 . 
于 软件 测试 员 实 实在 在 有 一 个 猎头 市 场 。 

以 下 分 别 介绍 各 种 软件 测试 职位 。 不 要 了 忘 了 ， 如 第 21 章 “软件 质量 保证 ， 所 述 ， 名 称 不 
是 一 定 的 ， 也 不 会 明确 代表 实际 工作 内 容 ， 但 是 大 多 数 软件 测试 工作 是 属于 这 些 类 型 的 。 

。 软件 测 试 技术 人 员 。 这 一 般 是 真正 的 入 门 级 测试 职位 。 工作 性 质 是 负责 建立 测试 硬件 
和 软件 配置 ， 执 行 简 单 的 测试 脚本 或 者 自动 化 测试 ， 可 能 还 要 利用 beta 站 点 分 离 和 再 现 
软件 缺陷 。 虽 然 某 些 工作 可 能 变 得 简单 和 重复 ， 但 是 成 为 测试 技术 人 员 是 步 和 软件 测 
试 殿 堂 的 好 方法 。 经 过 对 基础 的 学 习 后 可 以 对 软件 测试 是 否 适合 自己 做 出 决定 。 
软件 测试 员 或 者 软件 测试 工程 师 。 大 多 数 公 司 基于 经 验 和 专长 的 不 同 拥有 不 同 级 别 的 
软件 测试 员 。 入 门 级 测试 员 可 以 懂行 技术 员 的 职责 ， 进 而 向 执行 更 高 级 和 复杂 的 测试 
努力 。 在 取得 进步 后 ， 可 以 编写 自己 的 测试 用 例 和 神 试 程序 ， 并 参与 设计 和 说 明 书 审 
查 。 入 门 级 测试 员 要 进行 测试 、 分 离 、 再 现 和 报告 发 现 的 软件 缺陷。 如 果 有 基本 的 编 
程 能 力 ， 可 以 编写 简单 的 测试 自动 化 或 者 测试 工具 ， 在 执行 白 盒 测试 时 与 程序 员 密 切 
合作 。 
软件 测试 工具 开发 师 或 软件 测试 开发 工程 师 。 如 果 一 个 人 编程 很 优秀 但 又 很 言 爱 测试 ， 
那么 把 精力 投入 到 开发 测试 工具 或 者 执行 白 盒 测试 也 许 最 适合 。 作 为 工具 开发 师 要 开 
发 在 第 15 章 “自动 化 测试 和 测试 工具 ”中 提 到 的 很 多 定制 工具 ， 接 下 来 当然 还 有 从 程 
序 员 那 里 得 到 的 开发 需求 。 作 为 软件 测试 开发 工程 师 ， 需 要 花费 大 量 的 时 间 执 行 白 盒 
测试 ， 并 且 要 比 测试 工程 师 更 加 与 程序 员 紧 密 合 作 。 
软件 测试 负责 人 。 测 试 负责 人 负责 软件 项 目 主要 部 分 的 测试 ， 有 时 负责 整个 小 型 项 目 
的 测试 。 他 们 通常 为 负责 范围 制订 测试 计划 ， 监 督 其 他 测试 员 执行 测试 。 他 们 常常 重 
点 收集 产品 的 度量 信息 并 向 管理 部 门 呈报 。 他 们 也 懂行 软件 测试 员 的 职责 。 

。 软 件 测 试 经 理 。 测 试 经 理 监督 整个 项 目 甚至 多 个 项 目的 测试 。 测 试 负 责 人 要 向 他 们 报 
告 。 他 们 和 项 目 经 理 、 开 发 经 理 一 起 制定 进度 、 优 先 级 和 目标 。 他 们 负责 为 项 目 提供 
合适 的 测试 资源 一 人员、 设备 、 场 地 等 。 他 们 为 小 组 测试 制定 基调 和 策略 。 


22.2 寻求 软件 测试 职位 


. 那么 ， 到 哪里 寻求 软件 测试 工作 呢 ? 答案 是 在 寻求 程序 员工 作 的 同一 地 方 一 任何 开发 软 
件 的 商业 机 构 或 者 公司 。 

。 使 用 因特网 。 在 本 书 付 诸 印 刷 之 前 ， 利 用 儿 个 工作 搜索 引擎 进行 快速 搜索 ， 可 以 在 美 
国 各 家 公司 找到 成 百 个 空缺 的 软件 测试 职位 。 大 多 数 工 作 适合 入 门 级 测试 员 ， 有 包含 
测试 音乐 软件 、 交 互 电 视 、 网 络 、 医 疗 设备 和 网 站 等 的 工作 。 反 正 说 得 出 名 字 的 就 有 。 

。 查 阅 报纸 和 杂志 。 与 因特网 一 样 ， 大 多 数 大 城市 的 报纸 每 周末 在 高 科技 或 者 计算 机 招 
聘 广告 中 列 出 不 少 软件 测试 工作 。 计 算 机 和 编程 杂志 也 是 寻找 求职 广告 的 好 资源 。 

。 打 电话 咨询 。 喜 欢 某 项 技术 或 者 专用 软件 应 用 程序 ， 或 者 对 某 个 计算 领域 感 兴趣 吗 ? 
找到 编号 该 软件 的 公司 ， 打 个 电话 并 寄 出 个 人 简历 。 那 里 一 般 有 未 发 表 在 招聘 广告 上 
的 空缺 软件 测试 职位 。 机 智 的 测试 员 能 够 在 别人 明白 过 来 之 前 捕捉 到 这 些 机 会 。 

。 在 实习 和 协作 中 寻找 机 会 。 如 果 在 大 学 就 读 ， 就 可 以 在 一 家 软件 公司 作为 软件 测试 员 
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参加 暑假 或 者 学 期 实习 。 大 多 数 实习 机 会 提供 了 很 好 的 位 置 ， 随 着 从 该 领域 获得 经 验 ， 

”可 望 为 实际 产品 的 成 功 献上 一 份 力 。 如 果 工 作 努 力 ， 毕 业 之 后 还 可 以 得 到 全 职工 作 。 

。 职业 网 络 。 很 大 比例 的 工作 机 会 来 自 于 个 人 的 推荐 或 介绍 ， 而 不 是 招聘 广告 。 问 问 同 
事 、 朋 友 、 亲 戚 等 。 常 常 你 认识 的 人 和 在 招聘 的 公司 都 有 一 些 关系 。 

。 从 事 临时 工作 。 不 少 软件 公司 在 产品 即将 完成 时 ， 聘 请 临时 软件 测试 员 来 协助 执行 测 
试 脚本 。 虽 然 这 份 工作 只 有 上 几 个 月 ， 但 是 从 中 可 以 获得 有 价值 的 经 验 ， 每 次 都 会 面 对 
更 困难 的 任务 ， 边 干 边 学 。 有 些 软件 测试 员 喜 欢 这 种 工作 方式 ， 因 为 这 是 在 不 同 公司 
工作 的 良机 ， 可 以 在 差别 很 大 的 软件 中 一 试 身手 。 


22.3 获得 亲身 体验 


软件 测试 与 大 多 数 其 他 计算 机 课题 没什么 两 样 一 虽然 整 天 可 以 读 到 ， 但 是 除非 按照 读 的 
东西 实际 做 一 些 事情 ， 否 则 难以 领会 。 因 此 ， 学 习 软 件 测试 最 好 的 方式 是 亲手 在 自己 的 计算 
机 上 用 自己 的 软件 来 试 。 

选择 一 个 熟悉 的 程序 ， 并 体验 使 用 的 乐趣 ， 或 者 选择 一 个 从 未 用 过 的 程序 。 把 用 户 手 册 
和 帮助 文件 当做 产品 说 明 书 来 阅读 。 整 理 一 份 测试 计划 ， 设计 测试 用 例 ， 寻 找 软件 缺陷 。 使 
用 电子 表格 或 者 文字 处 理 程序 登记 软件 缺陷 ， 向 编写 应 用 程序 的 软件 公司 报告 发 现 的 问题 
( 儿 乎 所 有 的 软件 公司 都 有 报告 问题 的 方式 ， 一 般 通 过 他 们 的 网 站 )。 你 可 能 对 所 发 现 的 问题 
感到 吃惊 ， 软 件 公司 可 能 也 会 吃惊 。 

有 了 一 点 此 类 测试 经 验 之 后 ， 就 可 以 注册 申请 成 为 新 产品 的 beta 测 试 员 了 。 如 第 16 章 “ 缺 
陷 条 炸 和 beta 测 试 ”所 述 ，beta 测 试 员 在 公开 发 布 之 前 接 到 软件 的 副本 ， 有 机 会 观察 和 使 用 没 
有 最 终 完 成 的 软件 ， 找 到 软件 公司 内 部 测试 员 漏 掉 的 软件 缺陷 ， 而 且 根 据 所 发 现 的 问题 ， 可 
能 会 给 产品 的 设计 产生 影响 。 每 一 个 软件 公司 都 有 自己 管理 beta 测 试 的 系统 。 找 到 他 们 的 网 站 
申请 成 为 “beta 油 试 员 ”， 或 者 给 他 们 打 电 话 谈 一 下 成 为 beta 测 试 员 的 事情 。 从 beta 测 试 中 获得 
不 了 职位 ,但 是 可 以 学 到 更 多 。 


注意 在 自己 家 里 或 者 办 公 室 的 计算 机 上 使 用 beta 软 件 一 定 小 ' 心 ，Beta 软 件 从 根本 上 
讲 不 是 准备 公开 发 布 的 ， 到 处 是 软件 缺陷 。 某 些 软 件 缺 陷 可 能 导致 系统 和 原 有 软件 
产生 严重 问题 ， 包 括 频繁 的 崩溃 和 数据 丢失 。 在 运行 beta 软 件 之 前 要 对 重要 文件 进 
行 备 份 。 


成 为 易 用 性 测试 参与 者 〈 见 第 11 章 “ 易 用 性 测试 ") 是 另 一 种 获得 软件 测试 亲身 体验 的 方 
式 。 大 多 数 开 发 个 人 计算 机 软件 的 大 型 软件 公司 拥有 自己 的 易 用 性 实验 室 ， 或 者 与 独立 的 易 
用 性 实验 室 签约 进行 其 领域 的 测试 。 如 果 你 有 兴趣 测试 用 户 界面 ， 就 可 以 打 电 话 咨 询 成 为 软 
件 易 用 性 测试 参与 人 员 。 这 时 你 会 被 要 求 填写 一 张 表 格 以 评估 你 对 特定 软件 的 熟悉 程度 。 由 
于 项 目 到 了 易 用 性 测试 阶段 ， 你 的 申请 人 个 人 简介 会 被 审查 ， 看 是 不 是 他 们 要 找 的 人 ; 根据 
测试 的 产品 情况 ， 他 们 可 能 需要 从 纯粹 新 手 到 专家 的 各 色 人 等 。 符合 条 件 的 人 就 会 被 召集 起 
来 试用 新 产品 甚至 新 产品 原型 的 特征 。 管 理 测试 的 人 会 观察 测试 者 所 做 的 事情 ， 记 录 操 作 过 
程 ， 观 察 测试 者 对 软件 的 反应 。 他 们 可 能 再 次 邀请 测试 者 试用 根据 测试 者 发 现 的 问题 修改 之 
后 的 版 本 ， 对 于 测试 者 花费 时 间 的 补偿 通常 是 一 份 免费 软件 。 

也 可 以 成 为 一 个 赏 金 缺 陷 捕捉 员 ， 通 过 查找 缺陷 来 赚 取 现金 奖励 。 作 为 Mozilla 开 放 源码 项 
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目的 支持 机 构 的 火狐 基金 会 (Mozilla Foundation) 有 一 个 安全 缺陷 的 赏 金 项 目 。 如 果 有 人 发 现 
一 个 在 Mozilla 软 件 包 、 火 狐 浏 览 器 或 雷 鸟 E-mail 客户 端 有 效 的 致命 安全 缺陷 ， 他 就 能 得 到 500 
美元 的 现金 奖励 外 加 一 件 Mozilla 衬 衫 。 这 可 能 是 磨炼 测试 技能 ， 使 自己 在 软件 测试 界 出 名 的 
绝 好 机 会 。 在 www.mozilla.org/security/bug-bounty.html 上 有 关于 Mozilla 程 序 的 更 详细 信息 。 

学 习 了 解 开 源 代码 测试 (open source testing) 以 及 测试 工具 的 一 个 好 的 入 门 站 点 是 
www.opensourcetesting.org 。 在 这 里 可 以 找到 大 量 的 关于 开源 代码 测试 的 工具 、 新 闻 、 文 章 以 
及 与 其 他 开源 测试 站 点 的 链接 。 这 里 虽然 没有 奖赏 ， 但 是 通过 同行 对 工具 的 使 用 ， 以 及 与 其 
他 人 共同 使 用 这 些 工具 而 获得 的 亲身 体验 是 无 价 的 。 


22.4 正规 培训 机 会 


随 着 对 软件 测试 是 一 个 重要 的 研究 领域 的 认识 ,许多 大 学 和 学 院 开始 开设 该 科目 的 课程 。 
假如 你 正在 攻读 软件 工程 或 者 计算 机 的 学 位 ， 那 么 花 一 些 时 间 参 加 这 些 课程 其 中 一 门 的 学 习 是 
很 值得 的 。 即 使 计划 成 为 程序 员 或 者 工程 师 ， 更 好 地 了 解 软 件 测试 也 有 助 于 更 好 地 进行 工作 。 

许多 团体 和 技术 院 校 现在 开设 了 软件 测试 和 流行 软件 测试 工具 使 用 的 日 夜 和 夜班 。 某 些 
甚至 授予 软件 测试 的 相关 学 位 和 认证 。 

另 一 个 培训 选择 是 出 席 专业 软件 测试 会 议 。 美 国 甚至 世界 各 地 全 年 都 召开 此 类 会 议 ， 这 
些 会 议 提供 了 聆听 来 自 测试 行业 的 讲演 的 机 会 。 各 类 资料 从 最 基础 的 到 技术 性 极 高 的 无 所 不 
包 。 这 些 会 议 最 重要 的 部 分 是 有 机 会 与 同类 软件 测试 员 见 面 和 交谈 ， 交流 想法 、 争 论 解 决 方 
案 和 解决 之 道 。 下 列 清单 代表 了 比较 有 名 的 会 议 ， 但 不 是 全 部 。 出 席 和 缺席 都 不 表示 认可 或 
个 人 意见 。 

.。 国际 软件 测试 会 议 (1STC) ， 由 美国 质量 保证 学 会 (www.qaiusa.com) 主办 。ISTC 为 

期 一 周 时 间 ， 由 来 自 软 件 测试 和 质量 保证 行业 的 专家 进行 讲演 。 讲 演 话题 从 基本 软件 测 

试 到 测试 的 自动 化 再 到 测试 新 技术 。 

。 软件 测试 分 析 和 评审 STAR)， 由 软件 质量 工程 学 会 《www.sqe.com) 主办 。STAR 会 

议 的 焦点 集中 在 软件 测试 和 软件 工程 方面 。 他 们 提供 软件 测试 专家 的 讲课 、 指导 和 讨论 ， 

并 举办 提供 测试 工具 、 技 术 和 服务 的 公司 的 产品 演示 。 

。 软件 质量 国际 会 议 (ICSQ)， 由 美国 质量 协会 软件 分 会 (wwwicsq.org) 主 办 。 与 其 他 会 

议 一 样 ，ICSQ 提 供与 其 他 软件 测试 和 质量 保证 专业 人 十 交流 思想 和 方法 的 机 会 。 

。 软件 测试 国际 会 议 (ICSTEST)， 由 软件 质量 系统 (www.icstest.com) 主办 。ICSTEST 

是 在 德国 举办 的 国际 测试 会 议 ， 这 是 关于 软件 测试 方面 演示 、 指 导 、 讨 论 和 经 验 交 流 的 

论坛 。 

。 软件 质量 世界 会 议 (WCSQ)， 由 国际 软件 质量 协会 (ISQI) (wwwisqi.org) 主办 。 来 

自学 术 和 产业 领域 的 顶尖 专家 聚 在 一 起 ， 共 享 在 软件 质量 、 软 件 过 程 改进 以 及 软件 开发 
方法 方面 的 思想 、 见 解 、 经 验 和 发 展 进步 。 


22.5 网 站 


因特网 上 拥有 关于 软件 测试 的 丰富 信息 。 虽 然 搜索 “software testing” 或 者 “software 
test” 总 可 以 找到 一 些 资料 ， 但 是 下 列 专注 二 软件 测试 和 软件 缺陷 的 知名 网 站 可 以 作为 入 门 
向 导 : 
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。 Bug Net (www.bugnet.com) 公 布 在 商业 软件 中 发 现 的 软件 缺陷 ， 并 指出 相应 的 修复 措施 。 

® Software Testing Hotlist (www.io :com/~wazmo/qa) 列 出 了 许多 与 软件 测试 相关 的 网 站 和 
文章 的 链接 。 

e Software Testing Online Resourcestwww mtsu edu/storm 自 称 “一 系列 软件 测试 联机 资 
源 …… 旨 在 成 为 软件 测试 研究 者 和 从 业者 的 门户 网 站 ?”。 
。 QA Forums(www.qaforums.com) 提 供 软 件 测试 、 自 动 化 测试 、 测 试管 理 、 测 试 工具 等 主 
题 的 即时 讨论 。 . 
® Sticky Minds (www.stickyminds.com) 是 Better Sofrware 杂 志 的 在 线 电 子 版 本 。 其 口号 
是 “构建 更 好 软件 的 精神 食粮 ”。 

® Security Focus (www.securityfocus.com) 自 许 为 “ 互 连 网 上 最 全 面 和 可 靠 的 安全 信息 
资源 站 点 。Security Focus 是 中 立 的 站 点 ， 向 安全 界 的 所 有 同仁 ， 从 最 终 用 户 、 安 全 爱 
好 者 、 网 络 管理 员 到 安全 咨询 员 、IT 经 理 、CIO 和 CSO ， 提 供 客观 、 及 时 和 全 面 的 安全 
信息 ”。 

e comp.software.testing 新 闻 组 及 其 在 www.faqs.org/faqs/software-eng/testing-faq 上 的 FAQ 
(常见 问题 ) 文档 ， 提 供 测 试 员 和 测试 管理 员 关于 工具 、 技 术 和 项 目的 即时 讨论 。 

。 comp risks 新 闻 组 描述 和 分 析 近 期 的 软件 失败 。 


22.6 专注 于 软件 和 软件 质量 的 专业 组 织 


专注 于 软件 、 软 件 测 试 和 软件 质量 保证 的 一 些 非 恒利 性 专业 组 织 也 许 令 人 感 兴趣 。 他 们 
的 网 站 提供 了 其 专业 范围 的 详细 信息 。 | 
。 美国 软件 测试 协会 (AST) 在 www.associationforsoftwaretesting.org ， 是 个 非 合 利 性 专 
业 服 务 组 织 ， 专 注 于 软件 测试 的 理解 和 实践 的 推动 。 他 们 的 文档 提供 了 软件 测试 的 丰富 
信息 一 一 强调 实践 而 不 是 理论 。 
. 。 美 国 质量 委员 会 (ASQ) 在 www.asq.org 发 表 质量 方面 的 刊物 和 文章 ， 并 管理 认证 质量 
工程 师 (CQE) 和 认证 软件 质量 工程 师 (CSQE) 的 任命 。 . 
* 美国 计算 机 协会 (ACM): 在 www.acm.org 及 其 软件 工程 特别 兴趣 小 组 (SIGSOFT) 在 
www.acm.org/sigsoft 拥 有 教育 和 科学 计算 方面 的 80 000 多 个 会 员 。 
。 软件 质量 委员 会 (SSQ) 在 www.ssq.org 目 标定 在 “成 为 那些 志 在 把 提高 质量 作业 
-软件 通用 目标 的 人 们 的 协会 ”。 


22.7 更 进一步 阅读 


以 软件 测试 和 软件 质量 保证 为 题目 的 书 难 以 数 计 。 每 一 本 书 都 有 自己 针对 的 对 象 和 独到 
之 处 ,但 有 一 些 是 针对 测试 新 手 的 。 到 目前 为 止 读者 已 经 学 习 了 软件 测试 的 基础 ， 要 更 深入 
一 步 ， 可 以 阅读 以 下 列 出 的 书籍 : 

e Lessons Learned in Software Testing; 作者 Kaner，Bach 和 Pettichord; 由 Wiley 出 版 。 这 

本 书包 含 了 作者 在 其 职业 生涯 中 获得 的 293 个 艰难 的 教训 。 这 本 书 中 许多 关于 软件 测试 
的 实质 是 通过 现实 世界 的 实际 示例 来 展示 的 。 
® Surviving the Top Ten Challenges of Sofrware Testing: A People-Oriented Approach: 作 
-者 是 Perry 和 Rice; 由 Dorset House 出 版 。 这 本 书 以 诸如 “测试 扔 出 去 的 内 容 ” 以 及 “ 击 
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中 移动 的 目标 ”为 话题 ， 讲 解 软 件 测 试 员 如 何 处 理 环 手 的 ， 但 是 每 天 都 会 遇 到 的 情形 。 

e4 Practitioner’s Guide to Software Test Design; 作者 Lee Copeland; 由 Artech House 出 
版 。 从 书 名 看 这 本 书 是 软件 测试 培训 向 下 一 步 进 阶 的 最 好 书籍 。 书 中 详细 讲述 了 黑 盒 测 
试 、 白 盒 测 试 、 边 界 值 测试 以 及 等 价 类 测试 。 书 中 许多 实际 的 例子 参考 价值 很 高 。 

e How to Break Software Security; 作者 Whittaker 和 Thompson; 由 Addison Wesley 出 版 。 
如 果 软 件 测试 员 在 测试 软件 时 突然 分 配 了 查找 软件 缺陷 的 工作 ， 需 要 好 好 读 一 读 此 书 。 
Whittaker 博 士 是 Florida Tech 的 教授 ， 也 是 自动 化 测试 方面 的 专家 。 也 可 以 读 读 他 早期 
的 书籍 一 一 How to Break Software:A Practical Guide to Testing. 

Sams 出 版 的 下 述 书目 可 以 作为 加 强 理解 计算 机 和 编程 的 范本 。 这 些 书 籍 是 专门 为 加 快 人 

门 步伐 挑选 的 ， 非 常 适合 软件 测试 新 手 阅 读 。 

e 《Sams Teach Yourself Beginning Programming in 24 Hours》 是 编程 基础 的 优秀 入 门 书 。 
虽然 仅仅 读 了 本 书 尚 不 能 成 为 白 盒 测试 员 ， 但 是 从 中 可 以 洞悉 软件 是 如 何 编写 的 一 -有 
助 于 更 好 地 设计 测试 用 例 。 

e 《Sams Teach Yourself HTML in 24 Hours》、《Sams Teach Yourself Visual Basic in 24 
Hours》、《Sams Teach Yourself Java in 24 Hours》 和 《Sams Teach Yourself C++ in 24 
Hours》 是 掌握 编程 基础 之 后 很 好 的 下 一 步 。 

e 如 果 目 标 是 成 为 严肃 的 白 盒 测试 员 , 《Sams Teach Yourself Visual Basic in 21 Bays》、 
《Sams Teach Yourself Java in 21 Bays》、《Sams Teach Yourself C in 21 Bays»》. 《Sams 
Teach Yourself C++ in 21 Bays》 将 讲授 用 具体 语言 进行 编程 的 细节 。 

e 《Sams Teach Yourself Upgrading and Fixing PCs in 24 Hours》 将 讲授 为 PC 机 添加 新 硬件 
和 外 设 的 基础 一 对 于 软件 测试 员 是 一 个 很 重要 的 话题 ， 特 别 是 对 配置 测试 感 兴趣 时 。 

。 《Internationalization with Visual Basic》 将 讲述 如 何 创建 国际 市 场 都 接受 的 VB 应 用 程序 。 


注意 为 了 跟 上 最 新 的 编程 书目 ， 可 定期 查看 Sams 出 版 社 的 网 站 www.samspublishing 


-COITI 。 
”22.8 小 结 


到 此 为 止 ， 本 书 应 该 结束 了 。 这 里 我 们 以 总 结 作为 软件 测试 员 在 工作 中 期 望 达到 的 目标 
作为 本 书 的 结束 语 。 本 书 通 篇 使 用 诸如 “根据 公司 和 项 目 小 组 ”和 “根据 行业 情况 ”之 类 的 
限定 词 来 描述 开发 过 程 、 测 试 技术 和 质量 等 级 。 使 用 此 类 限定 词 不 可 能 对 软件 质量 的 通用 目 
标 做 一 个 普遍 的 定义 。 然 而 ， 这 些 限定 词 是 必要 的 ， 至 少 到 目前 是 这 样 ， 软件 质量 定义 是 
“根据 ” 某 些 条 件 而 定 的 。 

1998 年 ，IBM 公 司 在 纽约 Hawthorne 的 Thomas J .Watson 研究 中 心 的 心理 学 家 和 用 户 界 面 设 
计 员 Clare-Marie Karat 博士 提出 计算 机 用 户 的 权利 议案 ， 该 议案 设立 了 最 低 质 量 界 限 、 计 算 
机 用 户 应 该 从 他 们 使 用 的 软件 中 得 到 的 最 低 期 望 界 限 。 要 达到 该 质量 等 级 ， 计 算 机 行业 还 有 
很 长 的 路 要 走 ， 但 是 软件 测试 员 的 工作 有 助 于 该 目标 的 实现 。 

计算 机 用 户 的 权利 议案 (在 Karat 博 士 的 许可 下 复制 ) 如 下 : 

1) 观点 。 用 户 总 是 对 的 。 如 果 使 用 系统 出 现 问题 ， 就 是 系统 的 毛病 ， 而 不 是 用 户 的 。 

2) 安装 。 用 户 有 权 轻 易 安装 / 印 载 软件 和 硬件 系统 ， 而 不 产生 负面 后 果 。 
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3) 服从 。 用 户 有 权 要 求 系统 按照 承诺 的 方式 运行 。 

4) 指示 。 用 户 有 权 得 到 显而易见 的 指示 (用户 指 南 、 联 机 的 或 者 上 下 文 相关 的 帮助 、 错 
误 提 示 信 息 )， 以 理解 和 利用 系统 实现 预定 目标 ， 有 效 而 从 容 地 从 问题 状态 中 恢复 正常 。 

5) 控制 。 用 户 有 权 控 制 系统 ， 而 且 能 够 使 系统 对 请 求 进行 响应 。 

6) 反馈 。 用 户 有 权 得 到 提供 关于 系统 执行 和 进展 情况 的 清晰 、 明 白 和 准确 信息 的 系统 。 

7) 依赖 。 用 户 有 权 被 清楚 告知 成 功 使 用 软件 或 者 硬件 的 所 有 系统 需求 。 

8) 范围 。 用 户 有 权 知 道 系统 能 力 的 限制 。 | 

9) 协助 。 用 户 有 权 与 技术 提供 者 交流 ， 在 提出 问题 时 有 权 得 到 深思 熟 虑 旦 有 帮助 的 响应 。 


10) 易 用 性 。 用 户 应 该 成 为 软件 和 硬件 技术 的 主人 , 而 不 是 奴隶 。 产 品 使 用 起 来 应 该 自然 、 
直观 。 


22.9 小 测验 


以 下 是 帮助 读者 加 深 理解 的 小 测验 。 答 案 参 见 附录 A 一 一 但 是 不 要 偷 看 ! 
1. 在 因特网 上 搜索 软件 测试 职位 时 ， 应 该 使 用 什么 样 的 搜索 关键 字 ? 

2. 说 出 在 软件 公开 发 布 之 前 参加 测试 的 三 条 途径 。 

3. 软件 测试 员 的 目标 是 什么 ? 





附录 人 A 
小 测验 问题 解答 


第 1 章 


1. 在 千年 虫 例子 中 ，Dave 有 错误 吗 ? 

如 果 Dave 是 个 好 的 程序 员 ， 他 应 该 对 这 个 “显然 的 ” 芯 忽 产生 疑问 而 不 是 仅仅 将 程序 设 
计 到 只 能 有 效 工作 到 1999 年 。 由 于 他 没有 这 样 做 ， 软 件 测试 员 就 应 该 测试 并 发 现 该 缺陷 ， 然 
后 由 开发 小 组 确定 是 否 修正 实 

2. 判断 是 非 : 公司 或 者 开发 小 组 用 来 称呼 软件 问题 的 术语 很 重要 。 

错 。 这 虽然 不 重要 ， 但 是 使 用 什么 术语 常常 反映 了 小 组 的 个 性 及 其 寻找 、 报 告 和 确定 问 
题 的 方法 。 - 

3. 仅仅 测试 程序 是 否 按 预期 方式 运行 有 何 问 题 ? 

这 最 多 只 能 算 测 试问 题 的 一 半 。 用 户 不 一 定 遵 守 规 则 ， 软 件 袖 试 员 需 要 证 实 不 按 操作 有 
何 后 果 。 此 外 ， 如 果 测 试 员 进行 测试 没有 打破 砂锅 问 到 底 的 态度 就 会 遗漏 某 些 软件 缺陷 。 

4. 产 品 发 行 后 修复 软件 缺陷 比 项 目 开 发 早期 这 样 做 的 费用 要 高 出 多 少 ? 

10~100 倍 ， 甚 至 更 高 。 - 

5. 软件 测试 员 的 目标 是 什么 ? 

软件 测试 员 的 目标 是 尽 可 能 早 一 些 找 出 软件 缺陷 ， 并 确保 其 得 以 修复 。 

6. 判断 是 非 : 好 的 测试 员 坚 持 不 懈 地 追求 完美 。 

错 。 好 的 测试 员 知 道 何 时 完美 无 法 企及 ， 何 时 达到 “ 够 好 ”。 

7. 给 出 几 个 理由 说 明 产 品 说 明 书 为 什么 通常 是 软件 产品 中 制造 缺陷 的 最 大 来 源 。 

产品 说 明 书 常常 没 写 一 不 要 忘 了 , 说 不 出 来 就 做 不 出 来 。 其 他 原因 是 产品 说 明 书 虽然 有 ， 
但 是 不 完整 ， 不 停 更 改 ， 或 者 产品 说 明 书 内 容 没 有 同 开发 小 组 其 他 成 员 沟通 过 。 


第 2 章 


1. 说 出 在 程序 员 开始 编写 代码 之 前 要 完成 哪些 任务 ? 

开发 小 组 需要 了 解 客 户 的 要 求 ， 在 产品 说 明 书 中 定义 功能 特性 。 应 该 建立 详细 的 进度 ， 
使 小 组 成 员 知 道 哪些 工作 已 经 完成 ， 哪 些 工 作 还 要 做 。 软 件 应 该 形成 体系 ， 经 过 设计 ， 测 试 
小 组 应 该 开始 计划 工作 。 

2. 正式 并 被 锁定 不 能 修改 的 产品 说 明 书 有 何 缺 点 ? 
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如 果 软 件 开 发 过 程 中 市 场 转 移 到 不 同 的 方向 上 或 者 客户 要 求 改 变 ， 就 没有 调整 软件 的 灵 
活性 。 | 

3. 软件 开发 大 爆炸 模式 的 最 大 优点 是 什么 ? 

简单 。 仅 此 而 已 。 

4. 采用 边 写 边 改 模式 时 ， 如 何 得 知 软件 发 布 的 时 间 ? 

边 写 边 改 模式 没有 真正 的 退出 标准 ， 除 非 某 人 或 者 进度 决定 该 结束 了 。 

5. 瀑布 模式 为 什么 不 好 用 ? 

像 大 马 哈 鱼 一 样 ， 很 难 向 上 游 。 每 一 步 都 是 跟着 上 一 步 的 独立 、 离 散 的 过 程 。 如 果 走 到 
-头发 现 有 些 事 情 应 该 早 些 做 时 ， 想 退回 来 就 来 不 及 了 。 

6. 软件 测试 员 为 什么 最 喜欢 螺旋 模式 ? 

他 们 很 早 就 参与 开发 过 程 ， 有 机 会 尽早 发 现 问 题 ， 为 项 目 节省 时 间 和 人 金钱。 


第 3 章 


1. 假定 无 法 完全 测试 某 一 程序 ， 在 决定 是 否 应 该 停止 测试 时 要 考虑 哪些 问题 ? 

终止 测试 没有 一 定 的 时 间 ， 每 一 个 项 目 都 会 有 所 不 同 。 决 定时 要 考虑 的 因素 有 : 仍然 会 
发 现 大 量 软件 缺陷 ? 项 目 小 组 对 已 执行 的 测试 满意 吗 ? 报告 的 软件 缺陷 是 否 经 过 评估 定 下 来 
哪些 修复 ， 哪 些 不 修复 ? 产品 按照 客户 的 要 求 验 证 了 吗 ? 

2. 启动 Windows 计 算 器 程序 ， 输 入 5 000- 5= (逗号 不 能 少 )， 观 察 结果 。 这 是 软件 缺陷 
吗 ? 为 什么 ? 

答案 是 0， 而 不 是 预期 的 4995。 其 原因 是 逗号 (,) 被 自动 转换 为 小 数 点 (.)。 于 是 算式 
变 为 了 5.000-5F0， 而 不 是 5 000-5=4995。 要 确定 这 是 否 为 软件 缺陷 ， 就 需要 根据 产品 说 明 
书 进行 合法 性 检查 ， 也 许 在 产品 说 明 书 上 声明 逗号 会 被 转换 为 小 数 点 。 还 要 对 照 用 户 需求 进 
行 验证 ， 看 大 多 数 用 户 是 接受 这 点 还 是 产生 迷惑 。 

3. 假如 测试 模拟 飞行 或 模拟 城市 之 类 的 模拟 游戏 ， 精 确 度 和 准确 度 哪 一 个 更 值得 测试 ? 

模拟 游戏 的 目的 是 使 游戏 者 置身 于 与 现实 情形 接近 的 虚构 环境 中 。 在 模拟 器 中 飞行 应 该 
感觉 像 在 真 飞机 上 一 样 。 城 市 模拟 就 应 该 反映 真实 城市 的 各 种 情况 。 最 重要 的 是 如 何 准确 地 
模拟 实际 情形 。 飞 机 是 像 波音 757 一 样 还 是 像 一 只 小 鸟 一 样 飞行 ? 城市 航线 与 实际 路 线 相仿 
吗 ? 软件 有 了 准确 性 ， 才 能 谈 到 精确 。 这 是 关心 建筑 物 中 的 窗户 位 置 是 否 准确 以 及 飞机 的 移 
动 是 否 与 游戏 杆 操作 完全 协调 的 第 一 点 。 

4. 有 没有 质量 很 高 但 可 靠 性 很 差 的 产品 ? 请 举例 说 明 。 

有 可 能 ， 但 是 它 取 决 于 客户 对 质量 的 期 望 。 不 少 人 购买 高 性 能 跑车 ， 认 为 提速 、 时 速 、 
式样 、 舒 适度 和 装饰 好 就 是 高 质量 。 此 类 汽车 一 般 可 靠 性 较 差 ， 经 常 抛 错 ， 修 理 费 用 昂贵 ， 
而 车 主 不 把 可 靠 性 差 当 做 严重 的 质量 问题 。 

5. 为 什么 不 可 能 完全 测试 程序 ? 

除了 极 短小 的 简单 程序 ， 完 全 测试 需要 太 多 输入 、 输 出 和 分 支 组 合 。 此 外 ， 软 件 说 明 书 
也 许 不 客观 ， 可 以 用 多 种 方式 解释 。 

6. 假如 周一 测试 软件 的 某 一 功能 ， 每 小 时 发 现 一 个 新 的 软件 缺陷 ， 你 认为 周二 将 会 以 什 
么 样 的 频率 发 现 软件 缺陷 ? 

这 里 有 两 个 基本 要 素 。 首先 余下 的 软件 缺陷 与 发 现 的 软件 缺陷 成 比例 一 意味 着 周二 
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不 会 比 周一 的 情况 好 多 少 。 其 次 ， 杀 虫 剂 现象 表明 ， 除 非 增加 新 的 测试 ， 否 则 反复 执行 同样 
的 测试 ， 不 会 发 现 不 同 的 新 软件 缺陷 。 综 合 这 两 个 软件 要 素 ， 可 能 发 现 软件 缺陷 的 速度 继续 
保持 原 有 的 频率 ， 甚 至 更 低 。 


第 4 章 


1. 软件 测试 员 可 以 根据 产品 说 明 书 进行 白 盒 测试 吗 ? 

是 的 ， 白 盒 测 试 就 是 使 用 如 何 设计 影响 如 何 测试 的 概念 进行 的 。 测 试 员 可 以 参加 焦点 人 
群 、 易 用 性 研究 和 市 场 会 议 ， 了 解 用 于 定义 功能 特性 和 整个 产品 的 过 程 。 但 是 这 存在 一 定 的 
风险 ， 因 为 这 些 信 息 诱 使 测试 员 倾向 于 假定 说 明 书 是 正确 的 。 

2. 试 举 一 些 Mac 或 Windows 标 准 规范 的 例子 。 

在 Mac 机 上 ， 删 除 的 文件 放 在 废 纸箱 ; 在 Windows 中 ， 删 除 的 文件 放 在 回收 站 。 

在 Windows 中 ， 按 Fl 总 是 显示 软件 的 帮助 ， 在 Mac 机 上 则 是 Command-? 。 

在 Windows 中 ，File 菜 单 总 是 最 左边 的 菜单 选项 。 

在 Windows 中 ， 选 择 Help 菜 单 中 About 显 示 软 件 的 版 权 、 许 可 权 和 版 本 信息 。 

在 Mac 机 上 ，Command-X 执 行 剪 切 操作 ，Command-C 执 行 复制 操作 ，Command-V 执 行 粘 
贴 操 作 。 | 

还 有 很 多 例子 。 

3. 指出 下 述 产 品 说 明 中 的 错误 : 当 用 户 选 择 Compact Memory 选项 时， 程序 将 使 用 
Huffman 解析 和 矩阵 方法 尽 可 能 压缩 邮件 列表 数据 。 

错误 在 于 使 用 了 “ 尽 可 能 ”的 说 法 。 这 一 点 无 法 测试 ， 因 为 该 说 法 没有 量化 、 不 精确 。 
说 明 书 应 该 说 明 压 缩 究 竟 达 到 何 种 程度 才 行 。 

4. 解释 软件 测试 员 应 该 担心 下 述 产品 说 明 的 哪些 内 容 : 尽管 通常 连接 不 超过 一 百 万 个 ， 
但 是 该 软件 允许 多 达 一 亿 个 并 发 的 连接 。 

可 测试 性 。 典 型 应 用 只 有 一 百 万 个 倒 无 关 紧 要 。 如 果 产 品 说 明 书 声明 有 一 亿 种 可 能 性 ， 
那么 ， 一 亿 个 连接 都 要 测试 。 测 试 员 需 要 设法 测试 这 么 多 可 能 性 ， 或 者 让 说 明 书 作者 把 最 大 
可 能 性 降低 到 接近 典型 应 用 的 数目 。 | 


第 5 章 


1. 判断 是 非 : 在 没有 产品 说 明 书 和 需求 文档 的 条 件 下 可 以 进行 动态 黑 盒 测试 。 

对 。 该 技术 称 为 探索 测试 ， 基 本 上 把 软件 用 做 产品 说 明 书 。 这 不 是 理想 的 过 程 ， 但 是 急 
了 也 能 用 。 最 大 的 风险 是 不 知道 特性 是 否 被 遗漏 。 

2. 如 果 测 试 程序 向 打印 机 输送 打印 内 容 ， 应 该 选用 哪些 通用 的 失效 性 测试 用 例 ? 

可 以 尝试 打印 时 不 加 纸 ， 或 者 使 其 卡 纸 。 可 以 脱 机 打印 ， 拨 掉 电源 ， 断 开打 印 机 电缆 。 
可 以 尝试 在 墨 粉 不 足 的 条 件 下 打印 ， 甚 至 不 加 墨盒 。 为 了 明确 所 有 的 可 能 性 ， 可 以 查看 打印 
机 的 操作 手册 ， 找 出 支持 的 错误 处 理 ， 设 法 建立 使 用 的 错误 情况 。 | 

3. 启动 Windows 写 字 板 程序 ， 并 从 File 菜 单 选取 Print 命 令 ， 打 开 如 图 5-12 所 示 的 对 话 框 。 
左下 角 显示 的 Print Range (打印 区 域 ) 特性 存在 什么 样 的 边界 条 件 ? 

如 果 选 择 Page 选 项 ，From 和 To 文本 域 就 变 为 可 用 状态 。 明 显 的 边界 条 件 是 0 到 99999， 即 
文本 域 的 最 小 值 和 最 大 值 。 增 加 测试 254，255，256，1023 ，1024 和 1025 等 内 部 边界 是 明智 的 
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做 法。 此 外 ， 还 有 其 他 的 内 部 边界 。 试 着 从 只 有 6 页 的 文档 打印 第 1~8 页 。 注 意 在 本 例 中 ， 软 
件 必 须 在 打印 完 第 六 页 之 后 停止 ， 是 因为 数据 没有 了 ， 而 不 是 接 到 停止 命令 。 这 是 一 个 不 同 
的 内 部 边界 。 看 看 是 否 还 能 想 出 别 的 。 

4. 假设 有 一 个 文本 框 要 求 输入 10 个 字符 的 邮政 编码 ， 如 图 5-13 所 示 。 对 于 该 文本 框 应 该 
进行 怎样 的 等 价 划 分 ? : 

至 少 应 该 有 以 下 的 等 价 划分 ， 但 是 还 可 以 想 出 更 多 : 

。 合法 的 5 位 数字 邮政 编码 。 合 法 是 指 所 有 字符 都 是 数值 ， 不 是 指 投 入 使 用 的 现 有 邮政 编 

码 一 一 但 这 可 以 构成 另 一 个 区 间 。 | 

e。 合 法 的 9 位 数字 ( 带 连 线 的 9 位 数字 ) 邮政 编码 。 

e 5 位 以 下 数字 。 例 如 只 有 4 位 数字 。 

e 9 位 以 下 数字 。 例 如 只 有 8 位 数字 。 

e 5 位 以 上 数字 。 例 如 不 带 连 线 的 8 位 数字 。 这 是 否 与 9 位 以 下 数字 区 间 相 同 呢 ? 

es 9 位 以 上 数字 ， 尽 管 不 可 能 输入 9 位 以 上 带 连 线 的 数字 ， 但 是 测试 员 应 该 尝试 一 下 。 

。 10 位 数字 ， 无 连 线 。 与 9 位 以 上 数字 区 间 稍 有 差别 。 

。 连 线 位 置 不 对 。 

。 连 线 不 只 一 条 。 

e。 无 数字 和 无 连 线 。 

5. 判断 是 非 : 访问 程序 的 所 有 状态 也 确保 了 遍历 各 种 状态 之 间 的 转换 。 

错 。 想 想 游览 遍布 美国 的 50 个 不 同城 市 。 可 以 制定 到 达 每 个 城市 的 旅游 计划 ， 但 是 不 可 
能 走 遍 所 有 城市 之 间 的 道路 一 一 这 将 是 走 遍 美国 的 所 有 道路 。 

6. 绘制 状态 转换 图 有 多 种 不 同 的 方法 ， 但 是 它们 都 具有 相同 的 三 个 要 素 是 什么 ? 

。 软件 可 能 处 于 的 每 一 个 状态 。 

。 从 一 个 状态 转移 到 另 一 个 状态 所 需 的 输入 和 条 件 。 

。 当 进入 和 退出 状态 时 产生 的 条 件 、 变 量 和 输出 。 

7. Windows 计 数 器 程序 的 初始 状态 变量 有 哪些 ? 

初始 显示 值 和 内 部 中 间 值 置 为 0。 存 储 寄存 器 (MC,MR,MS 和 M+ 按钮 ) 置 为 0。 剪 切 板 内 
容 〈 暂 存 剪 切 、 复 制 和 粘贴 数据 ) 保持 不 变 。 

另 一 个 初始 状态 变量 是 计算 器 启动 时 出 现在 屏幕 上 的 位 置 。 打 开 计 算 器 程序 的 多 个 副本 ， 
注意 其 位 置 不 一 定 相 同 (至 少 在 Windows95/98 中 如 此 )。 作 为 探索 测试 的 一 个 练习 ， 看 能 否 找 
出 计算 器 打开 时 出 现 位 置 的 规则 。 

8. 当 设法 显露 竞争 条 件 软件 缺陷 时 ， 要 对 软件 进行 何 种 操作 ? 

尝试 同时 做 几 件 事 。 它 们 可 以 是 相关 的 ， 例 如 从 一 个 应 用 程序 同时 向 两 台 打 印 机 输出 打 
印 ; 也 可 以 是 无 美的， 例如 在 计算 机 计算 时 按 各 种 键 。 所 做 的 目的 是 迫使 软件 执行 茶 一 功能 
时 出 现 与 自己 竞争 的 状况 。 

9. 判断 是 非 : 在 进行 压迫 测试 的 同时 进行 重负 测试 是 不 合 情 理 的 。 

错 。 任 何 测 试 都 是 合理 的 。 软 件 测试 员 的 任务 是 发 现 软件 缺陷 。 但 是 ， 由 于 软件 测试 的 
实质 ， 在 这 种 情况 下 发 现 的 任何 缺 可 能 都 不 会 修复 。 


第 6 章 
1. 说 出 进行 静态 白 盒 测 试 的 几 个 好 处 。 
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静态 白 盒 测 试 在 开发 过 程 早期 发 现 软件 缺陷 ， 使 修复 的 时 间 和 费用 大 幅 降 低 。 软 件 测试 
员 可 以 得 到 软件 如 何 运 做 的 信息 ， 存 在 哪些 弱点 和 危险， 而 且 可 以 与 程序 员 建 立 良好 的 伙伴 
关系 。 项 目 状 态 可 以 传达 给 参与 测试 的 所 有 小 组 成 员 。 

2. 判断 是 非 : 静态 白 盒 测试 可 以 找 出 遗漏 之 处 和 问题 。 

对 。 遗 漏 的 问题 比 普通 的 问题 更 重要 ， 通 过 静态 白 盒 测试 可 以 发 现 。 当 根据 公布 的 标准 
和 规范 检查 代码 ， 在 正式 审查 中 仔细 分 析 时 ， 遗 漏 的 问题 就 显而易见 了 

3. 正式 审查 由 哪些 关键 要 素 组 成 ? 

过 程 。 按 照 过 程 进行 是 正式 检查 和 两 个 程序 员 之 间 互 查 代 码 的 区 别 。 

4. 除了 更 正式 之 外 ， 检 验 与 其 他 审查 类 型 有 什么 重大 差别 ? 

主要 区 别 是 ， 检 验 时 在 场 的 不 是 代码 的 原创 者 。 这 人 迫使 另 一 个 人 完全 理解 要 检查 的 软件 。 
这 比 让 其 他 人 只 是 审查 软件 寻找 软件 缺陷 更 有 效 。 

5. 如 果 要 求 程序 员 在 命名 变量 时 只 能 使 用 8 个 字符 并 且 首 字母 必须 采用 大 写 的 形式 ， 那 么 
这 是 标准 还 是 规范 昵 ? 

这 应 该 算是 标准 ， 如 果 程序 员 被 告知 要 用 超过 8 个 字符 命名 ， 那么 ， 这 就 是 规范 了 。 

6. 你 会 采用 本 章 的 代码 审查 清单 作为 项 目 小 组 验证 代码 的 标准 吗 ? 

不 会 。 这 只 是 用 做 一 个 通用 的 示例 。 其 中 虽然 有 一 些 好 的 测试 用 例 ， 应 该 在 测试 代码 时 
考 虚 ， 但 是 ， 应 该 研读 其 他 公开 的 标准 之 后 再 采用 自己 的 标准 。 

7. 缓冲 区 溢出 错误 作为 一 个 常见 的 安全 问题 属于 哪 一 级 错误 ?是 由 什么 原因 引起 的 ? 

数据 引用 。 它们 是 由 于 使 用 了 未 正确 声明 或 未 进行 初始 化 的 变量 常量 、 数 组 、 字 符 串 
或 记录 。 
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1. 为 什么 了 解 了 软件 的 工作 方法 会 影响 测试 的 方式 和 内 容 ? 

如 果 仅 从 黑 盒 子 的 角度 测试 软件 ， 就 无 法 知道 测试 用 例 是 否 足 以 覆盖 软件 的 各 个 部 分 ， 
以 及 测试 用 例 是 否 多 余 。 有 经 验 的 黑 盒 子 测试 员 能 够 为 程序 设计 相当 有 效 的 测试 用 例 ， 但 是 
没有 和 白 盒 测试 知识 ， 他 就 不 知道 这 一 套 测 试 的 好 坏 程度 。 

2. 动态 白 盒 测 试 和 调试 有 何 区 别 ? 

这 两 个 过 程 存在 交叉 。 但 是 动态 白 盒 测 试 的 目的 是 为 了 发 现 软件 缺 陷 ， 而 调试 的 目的 是 
修复 软件 缺陷 。 在 分 离 和 查找 软件 缺陷 原因 时 发 生 交叉 。 

3. 在 大 爆炸 软件 开发 模式 下 几 平 不 可 能 进行 测试 的 两 个 原因 是 什么 ? 如何 解决 ? 

一 股 脑 交 付 软件 ， 即 使 能 够 找 出 软件 出 现 缺 陷 的 原因 ， 也 非常 困难 一 这 是 大 海 檬 针 的 问 
题 。 第 2 个 原因 是 软件 缺陷 众多 、 相 互 隐藏 。 顾此失彼 ， 即 使 发 现 了 缺陷 ， 还 是 会 发 现 软件 仍 
然 不 行 。 

像 构 建 软件 时 那样 有 步 喀 和 条 理 地 集成 、 测 试 模 块 ， 可 以 在 软件 缺陷 相互 重 公 、 隐 英之 
前 将 其 找 出 。 

4. 判断 是 非 : 如 果 匆 忙 开发 产品 ， 就 可 以 跳 过 模块 测试 而 直接 进行 集成 测试 。 

错 。 软 件 测试 员 可 以 这 样 做 ,但 是 不 应 该 这 样 做 。 这 样 做 的 结果 是 会 遗漏 应 该 在 早期 发 
现 的 软件 缺陷 。 跳 过 或 推迟 测试 一 般 都 会 使 项 目 完成 时 间 延 长 、 费 用 增加 。 

5. 测试 柱 和 测试 驱动 有 何 差别 ? 
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测试 柱 用 于 自 顶 向 下 的 测试 。 它 用 自己 替换 低级 模块 。 其 对 于 要 测试 的 高 级 代码 ， 外 表 
和 行为 就 像 低 级 模块 一 样 。 

测试 驱动 和 测试 柱 相 反 ， 用 于 自 底 向 上 的 测试 。 它 是 代替 高 级 软件 ， 更 有 效 地 运行 低级 
模块 的 测试 代码 。 

6. 判断 是 非 : 总 是 首先 设计 黑 盒 测 试用 例 。 

对 。 基 于 对 软件 行为 操作 的 认识 程度 来 设计 测试 用 例 ， 然 后 利用 白 盒 测试 技术 进行 检查 
使 其 更 加 有 效 。 

7. 在 本 章 描 叙 的 三 种 代码 覆盖 中 ， 哪 一 种 最 好 ? 为 什么 ? 

条 件 禾 盖 是 最 好 的 。 因 为 它 综 合 了 分 支 禾 盖 和 语句 覆盖 ， 它 保证 决策 逻辑 中 的 所 有 条 件 
(例如 if-then 语 句 等)， 以 及 来 自 这 些 语句 的 所 有 分 支 和 代码 行 都 得 到 验证 。 

8. 静态 和 动态 白 盒 测 试 最 大 的 问题 是 什么 ? 

很 容易 形成 偏见 。 看 到 代码 可 能 会 说 : “ 啊 ， 我 知道 了 ， 不 要 测试 这 个 案例 ， 代 码 处 理 是 
对 的 .” 实 际 上 这 是 被 表面 蒙蔽 了 ， 去 掉 了 必要 的 测试 用 例 ， 一 定 要 小 心 。 


第 8 章 


1. 部 件 和 外 设 有 何 区 别 ? 

组 件 一 般 是 指 PC 机 内 部 的 硬件 设备 ; 外 设 是 PC 机 外 部 的 。 但 是 ， 根 据 硬 件 的 类 型 ， 这 个 
界限 也 可 以 突破 。 

2. 如 何 辨别 发 现 的 软件 缺陷 是 普通 问题 还 是 特定 的 配置 问题 ? 

在 儿 个 不 同 的 配置 中 重新 运行 暴露 软件 缺陷 的 相同 步 具 。 如 果 软 件 缺 陷 不 出 现 了 ， 就 可 
能 是 配置 缺陷 了 。 如 果 在 不 同 的 配置 中 都 出 现 ， 就 可 能 是 通用 的 问题 。 但 是 一 定 要 注意 。 配 
置 问题 可 以 跨越 整个 等 价 划分 。 例如 ， 软 件 缺 陷 仅 在 激光 打印 机 上 出 现 ， 而 在 喷 墨 打印 机 上 
表现 不 出 来 。 

3. 如 何 保证 软件 永远 不 会 有 配置 问题 ? 

这 是 一 种 技巧 性 问题 。 需 要 把 硬件 和 软件 打 成 一 个 包 ， 软 件 只 能 在 该 硬件 上 运行 ， 硬 件 
必须 完全 密封 ， 没 有 连接 到 外 界 的 单独 接口 。 

4. 判断 是 非 : 选择 测试 的 配置 的 时 候 只 需 考 虑 一 种 翻版 的 声卡 。 

视 情况 而 定 。 翻 版 的 硬件 设备 和 原版 完全 一 致 ， 只 是 名 称 和 包装 盒 不 同 。 一 般 这 两 者 功 
能 是 100% 等 价 的 ,， 但是， 有些 设备 的 固件 或 驱动 程序 不 同 ， 比 原版 多 出 一 些 支持 和 附加 特性 。 
在 这 种 声卡 的 测试 上 ， 需 要 在 确定 等 价 划分 前 计划 的 测试 中 了 解 这 些 声卡 的 不 同和 相同 之 处 。 

5. 除了 年 头 和 流行 程度 ， 对 于 配置 测试 ， 配 置 测试 中 用 于 等 价 划分 硬件 的 其 他 原则 是 
什么 ? 

地 区 和 国家 是 选择 对 象 ， 因 为 某 些 硬件 ， 例 如 DVD 播放 器 只 能 播放 当地 使 用 的 DVD。 另 
一 种 可 选 对 象 是 客户 或 者 业务 。 某 些 硬 件 针 对 一 些 客户 或 者 业务 是 需要 的 ， 而 对 其 他 不 适用 ， 
把 其 他 应 用 该 软件 的 情况 考虑 在 内 。 

6. 能 够 发 布 具有 配置 缺陷 的 软件 产品 吗 ? 

可 以 。 永 远 不 可 能 把 软件 缺陷 全 部 修复 。 在 所 有 测试 中 ， 任 何 处 理 都 是 有 风险 的 。 测 试 
员 和 测试 小 组 需要 决定 哪些 软件 缺陷 需要 修复 ， 哪 些 不 需要 修复 。 决定 留 下 仅 在 少见 的 硬件 
中 出 现 的 不 太 重 要 的 软件 缺陷 很 容易 ， 除 此 之 外 就 设 那 么 容易 了 。 
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第 9 章 


1. 判断 是 非 : 所 有 软件 必须 进行 某 种 程度 的 兼容 性 测试 。 

错 。 有 极 少 数 独立 使 用 、 专 用 、 不 与 任何 外 界 打交道 的 软件 不 需要 进行 兼容 性 测试 。 但 
是 ， 除 此 之 外 99% 的 软件 都 必须 进行 某 种 程度 的 兼容 性 测试 。 

2. 判断 是 非 : 兼容 性 是 一 种 产品 特性 ， 可 以 有 不 同 程度 的 符合 标准 。 

对 。 软 件 的 兼容 性 取决 于 客户 的 要 求 。 某 个 字 处 理 程 序 与 其 竞争 对 手 产品 的 文件 格式 不 
兼容 或 者 新 操作 系统 不 支持 某 一 游戏 软件 ， 都 是 正常 的 。 软 件 测试 员 应 该 通过 确定 兼容 性 检 
查 的 工作 量 大 小 ， 为 兼容 性 测试 的 决定 提供 依据 。 

3. 如 果 受 命 对 产品 的 数据 文件 格式 进行 兼容 性 测试 ， 应 该 如 何 完成 任务 ? 

研究 接受 测试 的 程序 文件 是 否 要 求 符合 已 有 的 标准 。 如 果 是 这 样 ， 要 测试 程序 确实 遵循 
这 些 标准 。 对 可 能 读 写 程序 文件 的 程序 进行 等 价 划分 。 设 计 测 试 文档 ， 使 其 包含 程序 能 够 读 
写 的 数据 类 型 的 典型 范例 。 测 试 这 些 文件 在 接受 测试 的 程序 和 其 他 程序 之 间 是 否 能 正确 传输 。 

4. 如 何 进行 向 前 兼容 性 测试 ? 

向 前 兼容 性 测试 不 容易 一 一 对 现在 仍然 见 不 到 的 东西 进行 测试 毕竟 难以 实现 。 解 决 问题 的 
方法 是 ， 完 整 细致 地 将 测试 定义 在 可 以 作为 标准 之 处 ， 从 而 使 该 标准 成 为 判定 向 前 兼容 性 测 
试 的 手段 。 


第 10 章 


再 和 本 地 化 有 休 区 1 
只 考 虚 语言 的 方面 一 一 翻译 词语 。 本 地 化 要 照顾 到 地 区 和 国家 的 习 懒 、 风俗 和 文化 。 
2 TN 2 
必 ， 但 是 ， 测试 小 组 中 要 有 人 熟练 掌握 该 语言 。 不 懂 该 语言 者 可 以 测试 与 该 语言 无 关 
的 软件 部 分 但 是 慷 一 点 外 语 可 以 促进 测试 
3. 什么 是 文本 扩展 ， 由 此 可 能 导致 什么 样 的 常见 软件 缺陷 ? 
当 文本 被 翻译 成 其 他 语言 时 会 出 现 文本 扩展 。 文 本 字符 串 长 度 可 能 增加 1 倍 或 更 长 。 原 
来 在 屏 医 上 适应 对 话 框 、 按 钮 等 的 文本 不 再 适应 ， 其 至 可 能 导致 软件 崩溃， 因为 变 长 的 文本 
在 为 该 字符 保留 的 内 存 空间 放 不 下 ， 会 覆盖 其 他 内 存 空 间 。 
4. 指出 扩展 字符 可 能 导致 问题 的 一 些 领域 。 
经 过 排序 或 者 按 字 母 排序 的 字 词 次 序 混乱 ， 大 小 写 转换 出 错 ， 以 及 常见 的 显示 和 打印 问题 。 
5. 使 文本 字符 串 与 代码 脱离 为 什么 重要 ? 
如 果 进 行 本 地 化 的 人 只 用 修改 文字 而 不 必修 改 程序 代码 ， 工 作 就 会 简单 多 了 。 这 样 还 会 
简化 测试 工作 ， 因 为 已 经 知道 软件 的 本 地 化 版 本 中 代码 不 变 。 
6. 说 出 在 本 地 化 程序 之 间 可 能 变化 的 一 些 数据 格式 类 型 。 
度量 单位 ， 例 如 磅 、 英 十 和 公升 。24 小 时 制 或 12 小 时 制 。 最 近 随 着 欧洲 一 些 国家 成 立 欧 
盟 ， 货 币 成 为 一 个 重要 问题 。 如 此 等 等 。 


第 11 章 
1. 判断 是 非 : 所 有 软件 都 有 一 个 用 户 界面 ， 因 此 必须 测试 易 用 性 。 
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对 。 即 使 伐 入 再 深 的 软件 终 将 以 某 种 形式 显露 在 用 户 面前 。 不 要 忘记 UI 可 以 简单 到 一 个 
开关 和 一 个 灯泡 ， 也 可 以 复杂 到 飞行 模拟 器 ， 即 使 软件 在 代码 库 中 只 有 一 个 代码 模块 ,其 接口 
也 要 以 变量 和 参数 的 形式 显露 在 可 以 作为 用 户 的 程序 员 面 前 。 

2. 用 户 界面 设计 是 一 门 科学 还 是 一 门 艺 术 ? 

两 者 兼 而 有 之 。 许 多 在 实验 室 经 过 严格 研究 、 完 全 测试 的 用 户 界面 ， 投 入 市 场 却 是 完全 
失败 的 。 

3. 既然 用 户 界面 没有 明确 的 对 与 错 ， 怎 样 测试 呢 ? 

软件 测试 员 应 当 检查 其 是 否 符合 7 个 重要 原则 : 符合 标准 和 规范 、 直 观 、 一 致 、 灵 活 、 舒 
适 、 正 确 和 实用 。 

4. 列举 熟悉 的 产品 中 设计 低劣 或 者 不 一 致 的 UI 例 子 。 

虽然 答案 根据 具体 使 用 的 软件 不 能 确定 ， 但 是 考虑 一 下 这 个 问题 试 着 调整 汽车 收音 机 
时 钟 的 时 i 

一 些 对 话 框 OK 按钮 在 左边 ，Cancel 按 钮 在 右边 ， 而 另 一 些 对 话 框 Cancel 按 钮 在 左边 ，OK 
按钮 在 右边 。 假 如 习惯 了 其 中 一 种 布局 ， 在 单 击 时 看 也 不 看 ， 就 会 丢失 工作 成 果 ! 

在 按 听 简 使 用 呼叫 等 待 或 者 会 议 呼叫 时 ， 是 否 意外 地 挂 断 某 人 的 电话 ? 

然而 ， 最 好 的 例子 始终 是 亲自 找到 的 。 

5. 哪 4 种 残疾 会 影响 软件 的 易 用 性 ? 

视力 、 听 力 、 运 动 和 认 知 障碍 。 

6. 如 果 测 试 将 启用 辅助 选项 的 软件 ， 哪 些 领 域 需要 特别 注意 ? 

处 理 键盘 、 鼠 标 、 声 音 和 显示 的 部 分 。 如 果 为 支持 辅助 选项 的 流行 平台 编写 软件 ， 就 比 
完全 从 头 编制 辅助 特性 的 测试 工作 要 容易 一 些 。 


第 12 章 


1. 启动 Windows 画 图 程序 ( 见 图 12-4)， 找 出 应 该 测试 的 文档 例子 。 应 该 找 什 么 ? 

以 下 是 几 个 例子 : 翻滚 帮助 一 一 当 鼠 标 停 在 某 个 画图 程序 绘图 工具 上 方 看 到 的 弹出 式 描述 。 
从 Help 菜 单 选 择 About 命 令 显 示 版 权 和 许可 协议 窗口 。 按 F1 启 动 联机 帮助 ， 阅 读 手 册 、 按 索引 
选择 或 者 输入 关键 词 搜索 。 还 有 功能 帮助 一 一 例如 ， 从 Color 菜单 中 选择 Edit Color 命 令 ， 在 标 
题 栏 单 击 “? ”按钮 ， 然 后 单 击 单 其 中 的 一 种 颜色 ， 就 会 得 到 选择 和 创建 颜色 的 帮助 。 

2. Windows 画 图 程序 帮助 索引 包含 200 多 个 条 目 ， 从 airbrush tool 到 zooming in or out。 是 
否 要 测试 每 一 个 条 目 看 能 够 到 达 正确 的 帮助 主题 吗 ? 假如 有 10 000 个 索引 条 目 呢 ? 

任何 一 个 测试 都 存在 风险 问题 。 如 果 有 充足 的 时 间 测 试 所 有 索引 项 ， 就 应 该 这 样 做 。 如 
果 无 法 进行 完全 测试 ， 就 必须 对 认为 有 必要 检查 的 对 象 建立 等 价 划分 。 可 以 根据 程序 员 关于 
索引 系统 工作 方式 的 介绍 来 做 决定 ; 可 以 向 文档 作者 请 教 索 引 项 是 如 何 生 成 的 。 可 以 尝试 每 
一 个 开头 字母 ， 或 者 第 1 个 ， 第 2 个 ， 第 4 个 ， 第 8 个 ， 第 16 个 …… 直 至 最 后 一 人 个。 甚至 可 以 等 
到 读 完 第 15 章 “自动 测试 和 测试 工具 ”之 后 进行 。 

3. 判断 是 非 : 测试 错误 提示 信息 属于 文档 测试 范围 。 

对 。 但 这 不 仅仅 是 文档 测试 。 信 息 的 内 容 需 要 作为 文档 测试 ; 而 强制 信息 显示 和 保证 显 
示 信 息 准 确 无 误 是 代码 测试 的 任务 。 

4. 好 的 文档 以 哪 3 种 方式 确保 产品 的 整体 质量 ? 
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增强 易 用 性 、 提 高 可 靠 性 、 降 低 支持 费用 。 
第 13 章 


1. 在 电影 《WarGames》 中 攻破 北美 防空 联合 司令 部 (NORAD ) 的 计算 机 系统 背后 的 动 
机 是 什么 ? 

使 用 和 征服 。 可 能 还 有 一 些 挑 战 和 树立 威信 的 动机 。 

2. 判断 是 非 : 威胁 模型 分 析 是 一 个 由 软件 测试 员 执行 的 正式 过 程 ， 用 以 确定 在 哪些 地 方 
最 适合 进行 针对 安全 漏洞 的 测试 。 

错 。 这 是 由 整个 项 目 小 组 执行 的 正式 过 程 。 

3. JPEG 病 毒 是 由 一 个 缓冲 区 溢出 缺陷 产生 的 。 回 到 第 6 章 的 通用 代码 审核 检查 表 ， 哪 两 
类 检查 最 能 描述 出 这 个 溢出 发 生 的 原因 ? 

计算 错误 一 一 预计 结果 值 只 能 为 正 数 。 当 结果 值 变 成 负数 时 ， 会 变 成 一 个 巨大 的 正 数 。 数 
据 引 用 错误 一 一 因为 当 数 据 变 成 一 个 巨大 的 正 数 后 ， 目 标 缓冲 区 的 大 小 就 没有 限制 在 注 明 的 
大 小 《65533 字 节 ) 范围 内 。 

4. 当 尝 试 在 标准 的 Windows 应 用 程序 中 打开 一 个 文件 时 出 现 最 近 使 用 过 的 文件 清单 ， 可 
能 是 安全 漏洞 中 的 哪 一 类 数据 的 例子 ? 

潜在 数据 。 

5. 哪 两 类 额外 和 潜在 不 安全 的 数据 在 文件 保存 到 磁盘 上 时 被 无 意识 地 写 入 磁盘 ? 

RAM 损 耗 和 磁盘 损耗 。 


第 14 章 


1. 使 用 黑 盒 测试 技术 ， 网 页 的 哪些 基本 元 素 可 以 轻易 地 测试 到 ? 

与 多 媒体 光盘 软件 中 的 元 素 类 似 一 文本、 图 像 和 超级 链接 。 

2. 什么 是 灰 盒 测试 ? 

灰 盒 测 试 是 可 以 边 看 着 代码 、 边 利用 代码 的 信息 帮助 测试 。 它 不 像 白 盒 测试 一 样 详 细 地 
检查 代码 。 代 码 用 来 协助 测试 ， 但 是 测试 并 不 完全 基于 代码 。 

3. 为 什么 网 站 测试 可 以 使 用 灰 盒 测试 ? 

因为 很 多 网 站 主要 由 易于 查看 的 HTML 标 记 语 言 ， 而 不 是 可 执行 程序 构成 。 所 以 可 以 既 
快 又 轻松 地 看 看 网 页 的 构成 、 然 后 依据 此 设计 出 测试 。 

4. 为 什么 不 能 依赖 拼写 检查 工具 来 检查 网 页 的 拼写 ? 

因为 拼写 检查 器 只 能 检查 普通 文本 ,不 能 检查 图 形 化 了 的 字母 和 随时 间或 每 次 查看 时 都 
改变 的 动态 生成 的 文字 。 

5. 列 出 在 进行 网 站 兼容 性 测试 和 配置 测试 时 需要 考虑 到 的 一 些 方面 。 

硬件 平台 、 操 作 系统 、Web 浏 览 器 、 浏 览 器 插件 、 浏 览 器 选项 和 设置 ， 视 频 分 辩 率 和 颜 
色 深 度 、 文 字 大 小 和 调制 解 调 器 速度 。 

6. Jakob Neilsen 的 10 个 常见 网 站 错误 中 哪儿 个 会 导致 兼容 性 和 配置 缺陷 ? 

宣 目 使 用 不 成 熟 的 新 技术 。 现 有 硬件 和 软件 第 1 次 应 用 新 技术 时 都 容易 出 问题 。 这 有 一 
点 技巧 问题 一 本 章 没 有 讲 ， 但 愿 在 应 用 本 书 第 三 部 分 “运用 测试 技术 ”所 学 的 内 容 之 后 能 
够 找到 答案 。 
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第 15 章 


1. 说 出 使 用 软件 测试 工具 和 自动 化 的 一 些 好 处 。 

它们 可 以 加 快 执行 测试 用 例 的 时 间 ; 能 够 提高 软件 测试 员 的 效率 ， 从 而 留 出 更 多 的 时 间 
进行 测试 计划 和 测试 用 例 开发 。 它 们 精确 且 不 会 懈怠 。 

2. 在 决定 使 用 软件 测试 工具 和 自动 化 时 ， 要 考虑 哪些 缺点 或 者 注意 事项 ? 

因为 软件 在 产品 开发 过 程 中 会 变化 ， 测 试 工具 也 要 随 着 变化 。 测 试 员 可 能 会 陷入 陷阱 ， 
花费 太 多 时 间 去 设计 测试 工具 和 自动 化 ， 而 忽视 了 实际 测试 。 容 易 过 分 依赖 自动 化 。 自 己 动 
手 测试 是 无 可 替代 的 。 | 

3. 工具 和 自动 化 之 间 有 何 差 别 ? 

测试 工具 有 助 于 测试 ， 简 化 手工 完全 测试 任务 。 自 动 化 也 是 一 种 工具 ， 但 是 它 的 执行 不 
需要 人 工 干预 。 想 一 想 在 木匠 呼 呼 大 睡 时 电 锯 和 钉 狂 能 盖 好 房子 吗 ? 

4. 查看 工具 和 注入 工具 有 何 异 同 ? 

这 两 种 类 型 的 工具 都 可 以 深入 到 软件 中 一 般 用 户 在 正常 情况 下 无 法 访问 的 地 方 。 查 看 工 
” 具 是 非 人 侵 式 ， 只 允许 查看 发 生 了 什么 。 注入 工具 是 人 侵 式 的 一 一 不 仅 允 许 查 看 发 生 了 什么 ，. 
还 可 以 操纵 。 利 用 这 些 工具 ， 可 以 尝试 在 普通 用 户 级 层次 难以 执行 或 不 可 能 执行 到 的 测试 用 
例 。 

5. 判断 是 非 : 入 侵 式 工具 是 最 佳 类 型 ， 因 为 其 操作 与 测试 的 软件 最 贴近 。 

错 。 入 侵 式 工具 在 一 些 情形 下 可 以 提供 更 好 的 信息 和 控制 ,但 是 它 具 有 可 能 影响 软件 和 
测试 结果 的 不 利 一 面 。 最 好 是 仔细 评估 每 种 情况 ， 选 择 最 适用 的 工具 ， 且 副作用 最 小 。 

6. 最 简单 但 很 有 效 的 测试 自动 化 类 型 是 什么 ? 

记录 和 回放 测试 用 例 ， 只 需要 手工 执行 测试 一 次 ， 这 是 非常 有 效 的 。 它 把 测试 员 从 单调 
的 重复 性 操作 中 解放 出 来 ， 给 测试 员 更 多 的 时 间 用 来 寻找 难以 发 现 的 软件 缺陷 。 

7. 说 出 可 以 增加 到 问题 6 中 所 述 的 测试 自动 化 中 ， 使 其 更 有 效 的 一 些 特性 。 

简单 编写 一 些 步 又 ， 而 不 只 是 捕捉 步 又 。 暂 停 或 等 待 软件 对 操作 响应 的 能 力 。 使 宏 知 道 
软件 缺陷 是 否 出 现 的 一 些 简单 验证 。 

8. 聪明 猴子 比 宏 和 笨拙 的 猴子 有 什么 优点 ? 

它们 几乎 都 有 自 知 能 力 ， 知 道 软件 的 状态 图 表 ， 知 道 自己 在 哪里 ， 能 做 什么 。 


第 16 章 


1. 描述 杀 虫 剂 怪 现 象 ， 如 何 找 到 新 人 查看 软件 来 解决 它 ? 

杀 虫 剂 现象 (在 第 3 章 “ 软 件 测试 的 实质 ”中 描述 ) 是 指 不 停 地 用 同样 的 测试 用 例 或 者 辣 
一 个 人 测试 软件 时 出 现 的 情形 。 最 终 ， 软 件 似乎 对 测试 具有 了 免疫 力 ， 因 为 找 不 到 新 的 软件 
缺陷 。 如 果 改 变 测 试 或 者 换 新 人 测试 ， 就 会 找 出 新 的 软件 缺陷 。 软 件 缺陷 在 哪 没有 变 ， 只 是 
采用 新 的 方法 使 其 暴露 出 来 。 

2. 对 软件 进行 beta 测 试 程序 有 哪些 正面 作用 ? 

由 更 多 的 人 来 检查 软件 。 这 是 发 现 配 置 和 兼容 性 问题 的 好 方法 。 

3. 对 于 beta 测 试 程序 有 哪些 注意 事项 ? 

beta 测 试 不 能 代替 有 组 织 、 有 计划 、 有 条 理 的 测试 方法 一 -在 通常 意义 上 的 软件 缺陷 寻找 
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方面 没有 优势 。 测 试 员 应 该 知道 beta 测 试 者 的 经 验 水 平 、 设 备 ， 并 要 确保 从 测试 中 得 到 预期 的 
结果 。 

4. 如 果 正 在 为 小 型 软件 公司 测试 ， 为 什么 外 包 配 置 测试 是 个 好 主意 ? 

配备 和 管理 一 个 配置 测试 实验 室 的 开销 和 负担 很 重 ， 小 公司 或 者 项 目 几 乎 无 法 承受 


第 17 章 


1. 测试 计划 的 目的 是 什么 ? 

为 了 解释 IEEE 829 的 定义 测试 计划 的 目的 是 定义 测试 活动 的 范围 、 方 法 、 资 源 和 进度 ， 
明确 要 测试 的 条 目 ， 要 测试 的 功能 特性 ， 要 执行 的 测试 任务 ， 每 个 任务 的 负责 人 ， 以 及 与 计 
划 相 关 的 风险 ， 简 而 言 之 ， 使 项 目 小 组 其他 成 员 在 测试 小 组 如 何 测试 软件 上 取得 一 致 。 

2. 为 什么 创建 计划 的 过 程 是 关键 ， 而 不 是 计划 本 身 ? 

因为 测试 计划 中 定义 的 所 有 问题 和 其 他 项 目 功能 小 组 或 者 小 组 成 员 相 互 之 间 存 在 影响 。 
让 所 有 人 了 解 和 接受 计划 的 内 容 是 关键 所 在 。 私 自 建立 书面 文档 并 束之高阁 不 仅 浪费 时 间 ， 
而 且 对 项 目 形成 危害 。 

3. 为 什么 定义 软件 的 质量 和 可 靠 性 目标 是 测试 计划 的 重要 部 分 ? 

因为 如 果 顺 其 自然 的 话 ， 每 个 人 都 会 有 自己 对 质量 和 可 靠 性 的 看 法 。 由 于 看 法 各 不 相同 ， 
因此 全 部 达到 是 不 可 能 的 。 

4. 什么 是 进入 和 退出 规则 ? 

从 一 个 测试 阶段 转移 到 另 一 个 阶段 的 要 求 必须 满足 。 一 个 阶段 满足 退出 规则 才 会 结束 ， 
新 的 阶段 满足 进入 规则 才 会 开始 。 

5 列 出 在 测试 计划 时 应 该 考虑 的 一 些 常用 测试 资源 。 

人 员 、 设 备 、 办 公 场 所 和 实验 室 、 软 件 、 外 包公 司 和 其 他 供给 。 

6. 判断 是 非 : 制订 进度 要 符合 固定 日 期 ， 以 使 测试 任务 或 者 测试 阶段 何 时 开始 ， 何 时 结 
束 没有 异议 。 | 

错 。 因为 测试 对 项 目的 其 他 方面 非常 依赖 (例如; 代码 编制 没有 完成 就 不 能 测试 ) ， 所 以 
测试 进度 最 好 根据 交付 日 期 来 制定 。 


第 18 章 


1. 测试 用 例 计 划 的 4 个 理由 是 什么 ? 

组 织 性 、 重 复 性 、 跟 踪 和 测试 证 实 。 

2. 什么 是 特别 测试 ? 

特别 测试 是 没有 计划 的 测试 。 它 很 容易 ， 也 很 有 趣 ， 但 是 没有 组 织 性 、 无 法 重复 ， 也 无 
法 跟踪 ， 完 成 后 ， 无 法 证 实 曾经 执行 过 。 

3. 测试 设计 说 明 的 目的 是 什么 ? 

测试 设计 说 明 的 目的 是 组 织 和 描述 针对 某 种 功能 特性 要 实施 的 测试 。 它 列举 了 要 测试 的 
功能 特性 和 要 用 的 方法 、 它 明确 了 测试 用 例 ， 但 是 不 指明 具体 是 什么 ， 也 不 说 明 通过 / 失败 
的 原则 是 什么 。 

“4. 什么 是 测试 用 例 说 明 ? 

该 文档 定义 测试 的 实际 输入 值 和 预期 输入 结果 ， 还 指明 具体 的 环境 要 求 、 程 序 要 求 和 测 
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试用 例 之 间 的 依赖 性 。 

5. 除了 传统 的 文档 ， 可 以 用 什么 方式 表述 测试 用 例 ? 

表格 、 真 值 表 、 列 表 和 示意 图 一 能 最 有 效 地 给 自己 、 其 他 测试 员 和 项 目 小 组 其 他 成 员 表 
示 测 试用 例 的 任何 形式 。 

6. 测试 程序 说 明 的 目的 是 什么 ? 

测试 程序 说 明 的 目的 是 明确 执行 测试 用 例 所 需 的 全 部 步骤 ， 包 括 如 何 设置 、 启 动 、 执 行 
和 关闭 测试 用 例 。 它 还 解释 了 测试 未 按 计划 进行 时 应 该 怎么 做 。 

7. 编写 测试 程序 应 该 达到 何 种 详细 程度 ? 

这 个 问题 没有 指定 的 答案 ， 很 大 程度 上 取决 于 谁 来 使 用 程序 。 细 节 太 少 会 导致 程序 不 明 
确 以 及 变化 不 定 。 细 节 太 多 会 拖延 测试 进度 。 详 细 程 度 应 该 由 行业 、 公 司 、 项 目 和 测试 小 组 
来 设 定 。 


第 19 章 


1. 说 出 软件 缺陷 可 能 不 修复 的 几 个 原因 。 

进 育 中 没有 安排 足够 的 时 间 ， 或 不 是 软件 缺陷 ， 或 修复 风险 太 大 不 值得 修复 ， 以 及 软件 
缺陷 没有 正确 报告 。 

2. 哪些 基本 原则 可 能 应 用 于 软件 缺陷 报告 ， 使 软件 缺陷 获得 最 大 的 修复 机 会 ? 

尽早 记录 。 有 效 描述 软件 缺陷 ， 确 保 其 最 小 化 、 单 一 、 明 显 、 全 面 、 可 以 再 现 。 在 进行 
过 程 中 不 挫 杂 个 人 看 法 。 在 软件 缺陷 的 整个 生命 周期 中 跟踪 报告 。 

3. 描述 分 离 和 再 现 软件 的 一 些 技术 。 

记录 所 做 的 操作 ， 并 仔细 审查 。 利 用 白 盒 测试 技术 寻找 竟 争 条 件 、 边 界 条 件 、 内 存 泄 露 
和 其 他 类 似 问 题 。 看 软件 缺陷 是 否 与 状态 相关 ， 例 如 依赖 初始 状态 或 其 后 状态 。 考 虑 导致 软 
件 缺 陷 的 资源 依赖 性 ， 甚 至 硬件 问题 。 

4. 假设 正在 Windows 计 算 器 上 执行 测试 ， 发 现 1+1=2，2+2=5，3+3=6，4+4=9，5+5=10， 
6+6=13。 写 一 个 软件 缺陷 标题 和 有 效 描述 该 问题 的 软件 缺陷 描述 。 

标题 : 偶数 之 间 的 加 法 得 到 的 结果 比 实际 值 大 1 。 


测试 用 例 : 简单 加 法 

设置 步骤 : 启动 计算 器 程序 1.0 版 

再 现 步骤 : 尝试 两 个 偶数 相 加 ， 例 如 2+2，4+4，6+6 

预期 结果 : 所 有 数字 对 相 加 得 到 正确 结果 一 一 2+2 二 4，41+4 二 8，……: 

实际 结果 : 两 个 偶数 相 加 ， 答 案 比 正确 值 大 1 一 一 2 二 2=5,，4+4=9，6+6= 二 13， 依 此 
类 推 

5. 在 软件 启动 面 面 上 公司 徽标 中 的 错别字 应 该 有 什么 样 的 严重 性 和 优先 级 ? 

可 能 是 严重 性 3 (小 问题 )， 优 先 级 2 (必须 在 发 布 之 前 修复 )。 

6. 什么 是 软件 缺陷 生命 周期 的 3 个 基本 状态 和 2 个 附加 状态 ? 

基本 状态 为 打开 、 解 决 和 关闭 。 两 个 附加 状态 是 审查 和 推迟 。 

7. 列举 数据 库 软 件 页 陷 跟 踪 系 统 比 纸张 系统 有 用 得 多 的 一 些 原 因 。 

可 以 一 眼看 出 处 于 软件 缺陷 生命 周期 的 哪个 状态 一 一 即使 对 于 复杂 的 软件 缺陷 也 不 例外 。 
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软件 缺陷 不 会 被 轻易 遗漏 或 者 忽略 。 项 目 统计 数据 可 以 很 快 获得 。 
第 20 章 


1. 如 果 使 用 源 自 软 件 缺 陷 跟 踪 数 据 库 数据 的 度量 来 评估 进展 或 者 测试 成 效 ， 为 什么 只 计 
算 每 天 发 现 的 软件 缺陷 数目 或 者 平均 发 现 速度 是 不 充分 的 ? 

这 没有 说 明 问 题 的 全 部 。 测 试 员 有 可 能 正在 测试 软件 最 复杂 的 部 分 。 测 试 区 域 可 能 是 由 
最 富有 经 验 的 程序 员 编 写 的 ， 也 可 能 是 由 最 没有 经 验 的 程序 员 编 写 的 。 测 试 的 代码 可 能 已 经 
测试 过 ， 也 可 能 是 全 新 的 。 

2. 根据 问题 1 的 答案 ， 列 举 可 以 更 精确 、 更 准确 评估 个 人 测试 进展 或 者 测试 成 效 的 一 些 其 
他 软件 度量 。 

每 天 平均 发 现 的 软件 缺陷 数目 。 目 前 发 现 的 软件 缺陷 总 数 。 修 复 的 缺陷 和 所 有 发 现 的 缺 
陷 的 比例 。 严 重 性 1 或 优先 级 1 的 软件 缺陷 与 全 部 发 现 的 软件 缺陷 的 比例 。 从 解决 状态 到 关闭 
状态 的 平均 时 间 。 . 

3. 从 Calc-U-Lot v3.0 项 目 中 ， 提 取出 提交 给 Terry 的 所 有 已 解决 软件 缺陷 ， 其 数据 库 查 询 
是 什么 样 的 (任何 需要 的 格式 ) ? 

Product EQUALS Calc-U-Lot AND 

Version EQUALS 3.0 AND 

Status EQUALS Resolved AND 

Assign TO EQUALS Terry 

4. 如 果 某 项 目 中 软件 缺陷 发 现 速度 如 图 20-8 所 示 的 那样 下 降 ， 全 体 人 员 都 对 项 目 即 将 关 
闭 准备 发 布 表示 兴奋 ， 请 问 可 能 有 哪 两 个 原因 会 导致 这 种 受 数据 欺骗 的 假 像 ? 

可 能 是 软件 要 进入 发 布 测试 阶段 ， 然 而 软件 的 所 有 部 分 并 未 全 部 被 测试 一 一 仅仅 在 当前 阶 
段 曲 线 是 平坦 的 。 测 试 员 可 能 忙于 回归 测试 和 关闭 软件 缺陷 ， 而 无 暇 寻找 新 的 软件 缺陷 。 还 
可 能 是 在 温暖 的 周末 ， 或 者 测试 员 出 去 度假 了 。 


第 21 章 


1. 测试 费用 为 什么 与 一 致 性 的 费用 相关 ? 

因为 无 论 开 发 过 程 多 好 ， 都 要 进行 一 次 测试 ， 根 据 产 品 说 明 书 验证 产品 ， 根 据 用 户 需求 
进行 合法 性 检查 。 如 果 没 有 发 现 软件 缺陷 ， 太 好 了 ， 但 是 计划 、 开 发 和 执行 测试 的 费用 都 要 
算 进 一 致 性 费用 中 。 

2. 判断 是 非 : 测试 小 组 负责 质量 。 

错 。 测 试 的 目的 是 发 现 软 件 缺 陷 。 测试 员 不 会 在 产品 中 放 进 软件 抽 陷 ， 也 不 保证 完成 测 
试 时 不 再 有 软件 缺陷 。 

3. 为 什么 要 获得 QA 工程 师 的 称号 是 难以 做 到 的 ? 

因为 这 意味 着 你 要 保证 产品 质量 。 准 备 好 承担 这 个 责任 了 吗 ? 

4. 为 什么 测试 小 组 或 者 质量 保证 小 组 独立 向 高 级 管理 员 报 告 好 ? 

如 果 他 们 向 开发 经 理 或 者 项 目 经 理 报告 ， 就 会 在 寻找 软件 缺陷 和 编制 软件 或 者 进度 会 议 
之 间 产 生 利益 冲突 。 

5. 如 果 某 公 司 在 软件 中 编 入 ISO 9000-3 标 准 ， 那 么 它 的 CMM 级 是 多 少 ? 为 什么 ? 
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它们 可 能 处 于 CMM3 级 ， 也 许 达到 CMM4 级 的 某 些 要 求 。 它 们 的 CMM 级 不 是 2 级 ， 因 为 2 
级 只 到 项 目 级 。3 级 达到 浆 个 组 织 或 者 公司 级 。4 级 开始 运用 统计 控制 。 


第 22 章 


1. 在 因特网 上 搜索 软件 测试 职位 时 ， 应 该 使 用 什么 样 的 搜索 关键 字 ? 

由 于 软件 测试 员 的 工作 名 称 和 描述 是 变化 的 ， 因 此 应 该 搜索 software test 、software 
testing、 quality assurance 和 QA 。 

2. 说 出 在 软件 公开 发 布 之 前 参加 测试 的 三 条 途径 。 

beta 测 试 和 易 用 性 测试 是 两 个 好 的 方法 。 另 外 一 个 方法 是 测试 开源 代码 的 软件 并 使 用 开源 
的 测试 工具 。 蕉 至 可 以 从 找 缺 陷 中 获得 回报 。 

3. 软件 测试 员 的 目标 是 什么 ? 

软件 测试 员 的 目标 是 尽 可 能 早 一 些 找 出 软件 缺陷 ， 并 确保 其 得 以 修复 一 一 当然 要 耐心 地 党 
担 本 书 所 讲 的 软件 测试 的 所 有 实质 。 祝 大 家 好 运 ， 加 油 去 寻找 软件 缺陷 吧 ! 


